[논문 리뷰] Vision-Language Transformer and Query Generation for Referring Segmentation

Henghui Ding, Chang Liu외 2명|arXiv (Cornell University)|2021. 08. 12.

Multimodal Machine Learning Applications참고 문헌 30인용 수 16

한 줄 요약

이 논문은 언어 기반의 이미지 질의 문제로 복합적인 참조 분할 작업을 재정의하기 위해 질의 생성 및 균형 모듈을 갖춘 시각-언어 트랜스포머(Vision-Language Transformer, VLT)를 제안한다. 시각적 특징에 의해 유도된 다수의 다양한 언어 질의를 생성하고, 그 응답을 적응적으로 융합함으로써, 복잡한 구성 요소 없이 RefCOCO, RefCOCO+, G-Ref 데이터셋 전반에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we address the challenging task of referring segmentation. The query expression in referring segmentation typically indicates the target object by describing its relationship with others. Therefore, to find the target one among all instances in the image, the model must have a holistic understanding of the whole image. To achieve this, we reformulate referring segmentation as a direct attention problem: finding the region in the image where the query language expression is most attended to. We introduce transformer and multi-head attention to build a network with an encoder-decoder attention mechanism architecture that "queries" the given image with the language expression. Furthermore, we propose a Query Generation Module, which produces multiple sets of queries with different attention weights that represent the diversified comprehensions of the language expression from different aspects. At the same time, to find the best way from these diversified comprehensions based on visual clues, we further propose a Query Balance Module to adaptively select the output features of these queries for a better mask generation. Without bells and whistles, our approach is light-weight and achieves new state-of-the-art performance consistently on three referring segmentation datasets, RefCOCO, RefCOCO+, and G-Ref. Our code is available at https://github.com/henghuiding/Vision-Language-Transformer.

연구 동기 및 목표

• 관계적 서술을 통해 목표 객체가 식별되는 참조 분할에서, 전체적인 이미지 및 언어 이해의 과제를 해결하기 위해.
• 시각-언어 작업에서 장거리 의존성과 전역 맥락을 모델링하는 데 있어 컨볼루션 네트워크의 한계를 극복하기 위해.
• 다양한 언어적 이해를 생성함으로써 모호하거나 복잡한 참조 표현에 대한 강건성을 향상시키기 위해.
• 시각적 신호를 기반으로 다중 질의 응답을 적응적으로 융합하여 가장 관련성이 높은 이해를 강조함으로써.

제안 방법

• 참조 분할을 직접적인 주의 문제로 재정의하여, 언어 표현이 이미지의 관련 영역에 주의를 기울이는 질의로 작용하도록 한다.
• 다중 헤드 자기-주의 및 상호-주의를 사용하여 시각 및 언어 특징 간의 전역 상호작용을 모델링하는 트랜스포머 기반 인코더-디코더 아키텍처를 채택한다.
• 언어 특징에서 시각적 지시에 따라 N개의 질의 벡터를 생성하는 질의 생성 모듈(Query Generation Module, QGM)을 도입한다. 각 질의 벡터는 참조 표현에 대해 서로 다른 이해를 나타낸다.
• 질의 응답의 관련성에 따라 가중치를 조정하고 융합하는 질의 균형 모듈(Query Balance Module)을 사용하여 응답 품질을 향상시킨다.
• 학습 중에 학습된 질의 벡터를 사용하며, 균일하게 초기화하고 네트워크의 나머지 부분과 함께 공동 최적화한다.
• 동적으로 질의 벡터를 생성함으로써, 맥락 속에서 언어 표현의 다양한 측면을 반영하는 시각 기반 주의를 활용한다.

실험 결과

연구 질문

• RQ1 참조 분할에서 전역 맥락과 장거리 의존성을 더 잘 포착할 수 있는 방법은 무엇인가?
• RQ2 참조 표현의 다수의 다양한 해석을 어떻게 생성하고 활용하여 분할 정확도를 향상시킬 수 있는가?
• RQ3 다중 질의 응답의 적응적 융합이 단일 질의 또는 고정된 질의 접근 방식보다 더 나은 마스크 예측을 이끌 수 있는가?
• RQ4 다양한 속성이나 관계를 포함하는 장기적 또는 복잡한 참조 표현에서 모델의 성능은 어떠한가?

주요 결과

• 제안된 VLT 모델은 RefCOCO, RefCOCO+, G-Ref 데이터셋에서 새로운 최신 기술 수준의 성능을 달성하였으며, RefCOCO에서는 1%의 IoU 향상, 더 도전적인 RefCOCO+ testB 분할에서는 5%의 향상을 기록하였다.
• 더 긴 표현을 포함한 G-Ref 데이터셋에서는 기존 방법 대비 2%~5% 높은 IoU를 달성하여, 복잡하고 장기적인 서술어도 효과적으로 처리함을 입증하였다.
• 16개의 질의 벡터를 사용할 경우 최고의 성능를 기록하였으며, 질의 수가 1에서 16으로 증가함에 따라 IoU가 5% 향상되어, 다수의 다양한 질의가 모델링 능력을 크게 향상시킴을 시사한다.
• 질의 균형 모듈을 제거하면 약 1%의 성능 저하가 발생하여, 가장 관련성이 높은 질의 응답을 선택하는 데서 그 효과를 확인할 수 있었다.
• 시각화 결과에서 트랜스포머가 먼 이미지 영역 간에도 주의를 기울이는 것으로 나타나, 단일 레이어에서 장거리 의존성을 효과적으로 모델링할 수 있음을 확인하였다.
• 질의 생성 모듈은 언어 표현을 서로 다른 측면에서 이해하는 다양한 질의 벡터를 생성하며, 특징 공간에서의 다수의 주의 패턴을 통해 그 효과가 입증되었다.