[논문 리뷰] Dual Attention Networks for Visual Reference Resolution in Visual Dialog

Gi-Cheon Kang, Jaeseo Lim외 1명|arXiv (Cornell University)|2019. 02. 25.

Multimodal Machine Learning Applications참고 문헌 28인용 수 13

한 줄 요약

이 논문은 시각 대화에서 시각적 참조 해석을 위해 이중 주의망(Dual Attention Networks, DAN)을 제안한다. 이는 두 가지 전문화된 주의 모듈을 사용한다: REFER는 다중 헤드 자기주의를 통해 대화 이력의 의존성을 모델링하여 모호한 대명사(예: '그', '그들')를 해소하고, FIND는 이미지 특징에 대해 하향식 주의를 사용하여 시각적 기반을 수행한다. DAN은 VisDial v1.0 및 v0.9에서 최고 성능을 기록하여 이전 방법들보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

Visual dialog (VisDial) is a task which requires an AI agent to answer a series of questions grounded in an image. Unlike in visual question answering (VQA), the series of questions should be able to capture a temporal context from a dialog history and exploit visually-grounded information. A problem called visual reference resolution involves these challenges, requiring the agent to resolve ambiguous references in a given question and find the references in a given image. In this paper, we propose Dual Attention Networks (DAN) for visual reference resolution. DAN consists of two kinds of attention networks, REFER and FIND. Specifically, REFER module learns latent relationships between a given question and a dialog history by employing a self-attention mechanism. FIND module takes image features and reference-aware representations (i.e., the output of REFER module) as input, and performs visual grounding via bottom-up attention mechanism. We qualitatively and quantitatively evaluate our model on VisDial v1.0 and v0.9 datasets, showing that DAN outperforms the previous state-of-the-art model by a significant margin.

연구 동기 및 목표

• 대화 이력과 시각적 맥락을 활용해 '그'나 '그들'과 같은 모호한 대명사들을 해소할 수 있도록 시각 대화에서 시각적 참조 해석 문제를 해결한다.
• 두 단계의 인간 유사 추론 과정을 모델링한다: 첫 번째로 대화 이력을 이용해 언어적 모호성을 해소하고, 두 번째로 해소된 참조를 이미지에 기반시킨다.
• 언어적 모호성 해소와 시각적 기반 단계를 명시적으로 분리하고 최적화하여 VisDial에서의 성능을 향상시킨다.
• 실세계 대화 데이터에 대한 추론 시각화와 추론 분석을 통해 이중 주의 아키텍처의 효과성을 검증한다.

제안 방법

• REFER 모듈은 모든 이전 대화 턴에 대해 다중 헤드 자기주의를 적용하여 참조 인식 특징을 계산함으로써 현재 질문과 대화 이력 간의 잠재적 관계를 포착한다.
• FIND 모듈은 REFER 모듈에서 생성된 참조 인식 특징에 조건부로 하향식 주의를 사용하여 이미지 특징에 주의를 기울이며 시각적 기반을 수행한다.
• 모델은 두 모듈을 파이프라인 방식으로 통합한다: REFER가 먼저 모호한 참조를 해소하고, FIND가 그에 따라 이미지 내 해당 영역을 탐색한다.
• REFER 모듈은 깊은 아키텍처에서의 학습 안정성 향상과 성능 향상을 위해 잔차 연결을 사용한다.
• FIND 모듈은 영역 제안 네트워크(RPN)에서 유도된 특징을 이미지 특징으로 사용하며, 이는 VGG-16 특징보다 성능이 뛰어나다는 게 입증되었다.
• 모델 용량과 성능 최적화를 위해 REFER 레이어 수와 주의 헤드 수에 대한 초모델 추론를 실시하였다.

실험 결과

연구 질문

• RQ1 대화 이력을 이용해 언어적 모호성을 먼저 해소하고, 그 다음에 시각적 기반을 수행하는 이중 단계 주의 메커니즘은 시각 대화에서 시각적 참조 해석 성능을 향상시킬 수 있는가?
• RQ2 이전의 시각적 주의 맵에 의존하는 모델들과 비교해 REFER 모듈이 대화 이력에 주의를 기울이는 능력은 어떠한가?
• RQ3 다양한 이미지 특징 표현 방식(예: RPN 대비 VGG-16)은 시각적 기반 성능에 어떤 영향을 미치는가?
• RQ4 잔차 연결과 다중 헤드 주의와 같은 아키텍처 선택은 모델 성능과 안정성에 어떤 영향을 미치는가?
• RQ5 모델의 주의 메커니즘이 인간의 추론 방식과 얼마나 일치하는가? 이는 실질적인 대화 데이터에 대한 주의 시각화 분석을 통해 확인된다.

주요 결과

• DAN은 VisDial v1.0 데이터셋에서 기존 최고 성능을 상회하는 새로운 최고 성능(MRR 64.17%)을 기록하였다.
• 추론 분석 결과, FIND 모듈만 또는 REFER 모듈만 사용할 경우 성능이 크게 떨어지며, 이는 두 모듈이 상호 보완적인 역할을 한다는 것을 확인한다.
• 하향식 주의 특징(RPN)을 사용할 경우 VGG-16 특징보다 더 높은 MRR 성능을 기록하여, 물체 수준의 특징이 시각적 기반에 더 효과적임을 시사한다.
• REFER 모듈에 잔차 연결을 적용함으로써 성능 향상이 이루어졌으며, 이는 깊은 잔차 학습의 이점이 이 아키텍처에 적용됨을 입증한다.
• 최적의 구성은 두 층의 REFER 모듈과 네 개의 주의 헤드를 가진 것으로, 추론 실험에서 가장 높은 MRR 성능을 달성하였다.
• 정성적 분석 결과, DAN은 관련된 대화 이력 턴과 주목할 만한 이미지 영역에 정확히 주의를 기울이며 인간의 추론 방식과 일치하는 추론을 수행함을 확인하였다.