[논문 리뷰] RefVOS: A Closer Look at Referring Expressions for Video Object Segmentation

Míriam Bellver, Carles Ventura외 4명|arXiv (Cornell University)|2020. 10. 01.

Multimodal Machine Learning Applications인용 수 16

한 줄 요약

이 논문은 언어 유도 영상 객체 분할에서 최고 성능을 내는 엔드 투 엔드 딥 네트워크인 RefVOS를 제안한다. 이는 BERT 기반 언어 인코딩을 활용하며, 기존 벤치마크가 단순한 언어 표현에 의해 지배되어 있음을 드러내고, 운동과 정적 동작이 주요 과제임을 규명한다. 비단순 케이스, 특히 정적 동작이나 운동을 묘사하는 언어 표현에서는 성능이 크게 떨어진다.

ABSTRACT

The task of video object segmentation with referring expressions (language-guided VOS) is to, given a linguistic phrase and a video, generate binary masks for the object to which the phrase refers. Our work argues that existing benchmarks used for this task are mainly composed of trivial cases, in which referents can be identified with simple phrases. Our analysis relies on a new categorization of the phrases in the DAVIS-2017 and Actor-Action datasets into trivial and non-trivial REs, with the non-trivial REs annotated with seven RE semantic categories. We leverage this data to analyze the results of RefVOS, a novel neural network that obtains competitive results for the task of language-guided image segmentation and state of the art results for language-guided VOS. Our study indicates that the major challenges for the task are related to understanding motion and static actions.

연구 동기 및 목표

• 기존 영상 객체 분할 벤치마크에서 언어 표현의 언어학적 복잡성을 분석하여, 단순 케이스가 지배하고 있음을 규명한다.
• 외관, 위치, 운동, 정적 동작 등을 포함한 일곱 가지 카테고리로 언어 표현을 새로운 의미적 분류 체계에 따라 분류함으로써 언어학적 과제를 더 잘 이해하고자 한다.
• DAVIS-2017 및 액터-액션(A2D) 벤치마크에서 언어 유도 영상 객체 분할에 대해 최고 성능을 내는 새로운 엔드 투 엔드 모델인 RefVOS를 개발한다.
• 다양한 언어 표현 의미 카테고리에 따라 모델 성능을 평가하여 어떤 언어 유형이 가장 과제가 되는지 규명한다.
• 더 엄격한 언어 기반 영상 인식 평가를 가능하게 하기 위해 A2D 데이터셋을 비단순 언어 표현으로 확장하고, 의미 카테고리별로 주석을 추가한다.

제안 방법

• RefVOS는 BERT를 사용해 언어 표현을 문맥 기반 임베딩으로 인코딩하고, 이들을 크로스 어텐션 메커니즘을 통해 영상 특징과 융합하여 픽셀 단위의 분할 마스크를 생성한다.
• 모델은 지도 마스크가 있는 영상 프레임에서 엔드 투 엔드로 훈련되며, 공간적 맥락을 포착하기 위해 다중 척도 특징 피라미드 네트워크를 사용한다.
• 저자는 외관, 위치, 운동, 정적, 동작, 관계, 일반 등 일곱 가지 의미 유형으로 언어 표현을 분류하는 새로운 주석 체계를 도입한다.
• 균형 잡힌 의미 카테고리 커버리지를 확보하기 위해 A2D 데이터셋에 140개의 새로운 비단순 언어 표현을 추가한다.
• 성능 평가는 DAVIS-2017 및 확장된 A2D 데이터셋에서 평균 교차율(mIoU)을 사용하며, 단순 대비 비단순 언어 표현과 의미 카테고리별로 분석한다.
• 다양한 언어 입력(예: 오직 주어, 오직 동사, 전체 어구) 간의 성능을 비교하여 언어 구성 요소의 기여도를 분리한다.

실험 결과

연구 질문

• RQ1 언어 유도 영상 객체 분할을 위한 현재의 벤치마크는 단순한 언어 표현에 의해 지배되어 있으며, 이는 단순한 신호로 해결 가능한가?
• RQ2 외관, 위치, 운동, 정적 동작 등의 언어 표현 의미 카테고리 중에서 최고 성능 모델에게 가장 과제가 되는 것은 무엇인가?
• RQ3 언어 표현에 주어만, 동사만, 또는 둘 다 포함된 경우 RefVOS의 성능는 전체 어구와 비교해 어떻게 달라지는가?
• RQ4 언어 표현에 운동 또는 정적 동작 묘사가 포함될 경우 모델 성능이 뚜렷이 떨어지며, 만약 그렇다면 그 이유는 무엇인가?
• RQ5 언어 표현에 더 세분화된 분류 체계를 도입하면 향후 영상 객체 분할 모델의 평가 및 개발에 도움이 될 수 있는가?

주요 결과

• DAVIS-2017에서 비단순 언어 표현의 평균 IoU는 46.2이며, 단순 케이스의 48.7보다 유의미하게 낮아, 비단순 언어 표현이 더 과제가 됨을 시사한다.
• A2D 데이터셋에서 비단순 언어 표현의 평균 IoU는 33.2이며, 단순 케이스의 53.9보다 유의미하게 낮아 복잡한 표현에서 성능 저하가 뚜렷하다.
• 정적 동작 묘사(예: '들고 있음', '앉아 있음')가 포함될 경우 성능이 가장 열 劣하며, 해당 유형이 없을 경우 평균 IoU는 36.21, 있을 경우 34.28로 나타나 모델이 정적 동작에 대해 매우 어려움을 겪고 있음을 보여준다.
• 운동 관련 언어 표현은 성능 향상을 가져오지 못하며, 운동 신호 유무에 관계없이 모델 성능은 유사하게 유지된다(35.58 대 35.60 mIoU), 이는 모델이 운동 정보를 효과적으로 활용하지 못하고 있음을 시사한다.
• 언어 표현에서 오직 주어만 사용할 경우 평균 IoU는 51.3으로, 오직 동작만 사용할 경우(43.0)보다 유의미하게 높아, 주어의 정체성이 동작 묘사보다 더 정보가 많음을 보여준다.
• 전체 언어 어구를 사용할 경우 A2D에서 평균 IoU가 49.7로 가장 높으며, 주어와 동작를 모두 포함한 구성보다도 뛰어나, 비단순 케이스에서 전체 언어 맥락의 중요성을 강조한다.