[논문 리뷰] Shifting More Attention to Visual Backbone: Query-modulated Refinement Networks for End-to-End Visual Grounding

Jiabo Ye, Junfeng Tian외 6명|arXiv (Cornell University)|2022. 03. 29.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 시각적 기반을 향상시키기 위해 입력 쿼리에 기반해 공간적 및 채널별 특징을 적응적으로 조정하는 쿼리 인식 동적 어텐션(QD-ATT)을 통해 시각적 특징을 개선하는 새로운 프레임워크인 쿼리 모odulated 리파인먼트 네트워크(QRNet)를 제안한다. QRNet은 다섯 개의 벤치마크에서 최신 기술을 초월하며, 각각 ReferItGame-test에서 74.61%와 Flickr30k-test에서 81.95%의 성능을 기록한다. 이는 쿼리 유도 시각적 특징 정련을 통해 교차 모odal 정렬을 향상시킴으로써 달성된다.

ABSTRACT

Visual grounding focuses on establishing fine-grained alignment between vision and natural language, which has essential applications in multimodal reasoning systems. Existing methods use pre-trained query-agnostic visual backbones to extract visual feature maps independently without considering the query information. We argue that the visual features extracted from the visual backbones and the features really needed for multimodal reasoning are inconsistent. One reason is that there are differences between pre-training tasks and visual grounding. Moreover, since the backbones are query-agnostic, it is difficult to completely avoid the inconsistency issue by training the visual backbone end-to-end in the visual grounding framework. In this paper, we propose a Query-modulated Refinement Network (QRNet) to address the inconsistent issue by adjusting intermediate features in the visual backbone with a novel Query-aware Dynamic Attention (QD-ATT) mechanism and query-aware multiscale fusion. The QD-ATT can dynamically compute query-dependent visual attention at the spatial and channel levels of the feature maps produced by the visual backbone. We apply the QRNet to an end-to-end visual grounding framework. Extensive experiments show that the proposed method outperforms state-of-the-art methods on five widely used datasets.

연구 동기 및 목표

• 사전 훈련된 쿼리 무관 시각 백본과 시각적 기반에 필요한 특정 시각적 특징 간의 일관성 부족 문제를 해결하기 위해.
• 쿼리 컨텍스트에 기반해 시각적 특징을 정련함으로써 자연어 쿼리와 이미지 영역 간의 교차 모달 정렬을 향상시키기 위해.
• 백본 아키텍처를 수정하지 않고도 시각적 특징 품질을 향상시키는 경량이며 엔드 투 엔드로 훈련 가능한 모듈을 개발하기 위해.
• 표준 벤치마크와 실세계 온라인 응용 프로그램 모두에서 쿼리 모odulated 특징 정련의 효과성을 검증하기 위해.

제안 방법

• 스위니-트랜스포머 기반 시각 백본에 새로운 쿼리 인식 동적 어텐션(QD-ATT) 메커니즘을 통합한 쿼리 모odulated 리파인먼트 네트워크(QRNet)를 제안한다.
• QD-ATT는 쿼리 임bed딩에서 유도된 쿼리 의존적 공간적 및 채널별 어텐션 맵을 동적으로 계산하고, 여러 단계에서 시각적 특징 맵을 정련하는 데 적용한다.
• 어텐션 맵은 쿼리-쿼리 상호작용을 통해 계산되며, 요소별 곱셈을 통해 적용되어 시각적 특징을 재가중함으로써 쿼리 관련 영역을 강조한다.
• 다양한 스케일에서 QD-ATT를 적용함으로써 특징 융합의 정교함이 향상되어 스케일 간에 쿼리 일관성 있는 특징 융합이 가능해진다.
• QRNet는 표준 특징 추출 방식을 쿼리 정련 특징으로 대체함으로써 엔드 투 엔드 시각적 기반 프레임워크에 통합된다.
• 표준 검출 헤드를 사용하고 표준 시각적 기반 손실 함수로 최적화함으로써 표준 방식으로 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 사전 훈련된 시각적 특징와 쿼리에 특화된 요구사항 간의 일관성 부족 문제를 줄이기 위해 쿼리 인식 특징 정련이 성능 향상에 기여하는가?
• RQ2 다양한 모달 정렬을 위한 시각적 특징 정련에서 표준 어텐션 메커니즘과 비교해 쿼리 모odulated 어텐션은 어떤가?
• RQ3 QD-ATT가 시각적 백본의 다양한 단계에 적용되었을 때 성능 향상 정도는 어느 정도인가?
• RQ4 제안된 정련 메커니즘이 다양한 시각적 기반 벤치마크와 실세계 구현 환경 모두에서 일반화 가능한가?

주요 결과

• QRNet는 ReferItGame-test에서 74.61%, Flickr30k-test에서 81.95%의 성능을 기록하여 최신 기술을 초월한다.
• 절단 실험 결과, 특징 추출 단계에서 QD-ATT를 비활성화하면 ReferItGame-test에서 성능이 3.75% 감소함으로써 QD-ATT의 핵심적 역할을 입증한다.
• QD-ATT의 공간 어텐션과 채널 어텐션 모두 효과적이며, 공간 어텐션은 관련 없는 영역을 걸러내고, 채널 어텐션은 쿼리 컨텍스트에 따라 특징 중요도를 재분배한다.
• 다중 스케일 융합에서 QD-ATT를 비활성화하면 ReferItGame-test에서 성능이 2.52% 감소함으로써 특징 융합에서의 중요성을 입증한다.
• 온라인 A/B 테스트에서 QRNet는 실세계 전자상거래 검색 시스템에서 클릭 없음 비율을 1.47% 감소시키고 거래 수를 2.20% 증가시켰다.
• 정성적 결과는 QRNet가 기존 모델 대비 더 쿼리 일관성 있는 활성화 맵을 생성하며, 관련 없는 이미지 영역에 대한 주의를 줄임을 보여준다.