[논문 리뷰] Improving Visual Grounding with Visual-Linguistic Verification and Iterative Reasoning

Yang Li, Yan Xu외 4명|arXiv (Cornell University)|2022. 04. 30.

Multimodal Machine Learning Applications인용 수 11

한 줄 요약

이 논문은 시각-언어 검증과 반복적 다중모달 추론을 통해 정확도를 햖스시키는 트랜스포머 기반 시각 기반 프레임워크를 제안한다. 언어에 관련된 시각적 영역에 집중하고 맥락 특징을 집계함으로써 객체의 구별성을 향상시키며, 다단계 디코더를 통해 국소화를 정밀하게 조정하여 최소한의 파라미터 및 계산 오버헤드로 다섯 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Visual grounding is a task to locate the target indicated by a natural language expression. Existing methods extend the generic object detection framework to this problem. They base the visual grounding on the features from pre-generated proposals or anchors, and fuse these features with the text embeddings to locate the target mentioned by the text. However, modeling the visual features from these predefined locations may fail to fully exploit the visual context and attribute information in the text query, which limits their performance. In this paper, we propose a transformer-based framework for accurate visual grounding by establishing text-conditioned discriminative features and performing multi-stage cross-modal reasoning. Specifically, we develop a visual-linguistic verification module to focus the visual features on regions relevant to the textual descriptions while suppressing the unrelated areas. A language-guided feature encoder is also devised to aggregate the visual contexts of the target object to improve the object's distinctiveness. To retrieve the target from the encoded visual features, we further propose a multi-stage cross-modal decoder to iteratively speculate on the correlations between the image and text for accurate target localization. Extensive experiments on five widely used datasets validate the efficacy of our proposed components and demonstrate state-of-the-art performance. Our code is public at https://github.com/yangli18/VLTVG.

연구 동기 및 목표

• 기존의 시각 기반 방법이 일반적인 객체 검출기와 고정된 제안을 기반으로 하여 특징의 유연성과 맥락 모델링을 제한하는 점을 해결하기 위해.
• 언어 유도 주의와 맥락 집계를 통해 더 구별성 있는 시각적 특징을 확보하여 시각 기반을 향상시키기 위해.
• 이미지와 텍스트 간의 상관관계를 점진적으로 개선하는 다단계 다중모달 추론을 통해 정확한 국소화를 가능하게 하기 위해.
• 사전에 생성된 제안에 의존하는 것을 줄이고, 전용 모듈을 통해 직접 목표 객체 특징을 검색하기 위해.
• 모델 크기와 추론 비용의 증가를 최소화하면서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 언어 쿼리와 일치하는 영역을 강조하고 관련 없는 이미지 영역을 억제하기 위해 시각적 특징과 텍스트 임베딩을 비교하는 시각-언어 검증 모듈을 도입한다.
• 목표 객체 주변의 공간적으로 인접한 시각적 특징을 어텐션 메커니즘을 사용해 집계함으로써 객체의 구별성을 향상시키는 언어 유도 맥락 인코더를 활용한다.
• 이미지와 언어 특징 간의 정렬을 점진적으로 개선하는 다단계 다중모달 디코더를 설계하여, 점진적 추론을 통해 국소화 정확도를 향상시킨다.
• 검증 모듈에서 생성된 조절된 시각적 특징을 디코더의 입력으로 사용함으로써 관련 있는 이미지 영역에 집중된 추론을 가능하게 한다.
• 각 단계에서 유연하게 관련 있는 시각적 및 언어 토큰에 주의를 기울일 수 있도록 디코더에 학습 가능한 쿼리 메커니즘을 적용한다.
• 모든 구성 요소를 통합된 트랜스포머 기반 프레임워크에서 엔드 투 엔드로 통합함으로써 객체 제안 생성에 의존하지 않도록 한다.

실험 결과

연구 질문

• RQ1 시각-언어 검증이 시각 기반에서 언어 쿼리에 관련된 시각적 특징의 관련성을 향상시킬 수 있는가?
• RQ2 언어 유도 맥락 집계는 복잡한 환경에서 목표 객체의 구별성을 어떻게 향상시키는가?
• RQ3 다중 단계에서 반복적인 다중모달 추론이 단일 단계 추론보다 성능을 뛰어나게 할 수 있는가?
• RQ4 제안된 프레임워크는 낮은 계산 및 파라미터 오버헤드를 유지하면서 최신 기술 수준의 성능을 달성하는가?
• RQ5 학습 분포를 초월한 개방형 또는 다양한 언어 표현에 모델이 어떻게 일반화되는가?

주요 결과

• 제안된 방법은 VG 데이터셋에서 71.62%의 정확도를 달성하여 베이스라인보다 5.60%포인트 높고, 심지어 더 깊은 트랜스포머 인코더 스택을 초월한다.
• 시각-언어 검증 모듈은 언어 쿼리와 관련된 영역에 집중함을 어텐션 시각화와 목표 객체에서의 높은 검증 점수를 통해 입증하였다.
• 언어 유도 맥락 인코더는 예를 들어 한 여자 주변의 말과 같은 의미적으로 관련된 주변 영역에 주의를 기울여 목표 객체의 구별성을 향상시켰다.
• 다단계 디코더는 점진적으로 이미지와 텍스트 간의 정렬을 개선함으로써 정확도를 높였으며, 두 번째 단계에서 이미 단일 단계 베이스라인보다도 뚜렷한 향상을 보였다.
• 베이스라인 대비 모델 파라미터는 5.5% 증가하고 계산 비용은 0.71% 증가하여 높은 효율성을 입증하였다.
• 제거 실험 결과, 검증 모듈과 맥락 인코더 모두 필수적이며, 두 요소의 조합이 가장 높은 성능을 낸다.