[논문 리뷰] Recursive Visual Attention in Visual Dialog

Yulei Niu, Hanwang Zhang외 4명|arXiv (Cornell University)|2018. 12. 06.

Multimodal Machine Learning Applications참고 문헌 40인용 수 5

한 줄 요약

이 논문은 시각 대화 에이전트가 모호한 질문에서 시각적 공호현상을 해결하기 위해 대화 기록을 재귀적으로 검토할 수 있도록 하는 새로운 주의 메커니즘인 Recursive Visual Attention (RvA)을 제안한다 (예: '그들은 켜져 있나요?'). Gumbel-softmax 근사화를 사용하여 엔드 투 엔드 학습을 가능하게 하고, 추론과 답변 생성을 위한 별도의 언어 특징을 활용함으로써, RvA는 VisDial v0.9 및 v1.0에서 해외 최고 성능을 기록했으며, 해석 가능한 이력 인식 주의 맵을 제공하고 외부 애너테이션에 대한 의존도를 감소시켰다.

ABSTRACT

Visual dialog is a challenging vision-language task, which requires the agent to answer multi-round questions about an image. It typically needs to address two major problems: (1) How to answer visually-grounded questions, which is the core challenge in visual question answering (VQA); (2) How to infer the co-reference between questions and the dialog history. An example of visual co-reference is: pronouns (\eg, ``they'') in the question (\eg, ``Are they on or off?'') are linked with nouns (\eg, ``lamps'') appearing in the dialog history (\eg, ``How many lamps are there?'') and the object grounded in the image. In this work, to resolve the visual co-reference for visual dialog, we propose a novel attention mechanism called Recursive Visual Attention (RvA). Specifically, our dialog agent browses the dialog history until the agent has sufficient confidence in the visual co-reference resolution, and refines the visual attention recursively. The quantitative and qualitative experimental results on the large-scale VisDial v0.9 and v1.0 datasets demonstrate that the proposed RvA not only outperforms the state-of-the-art methods, but also achieves reasonable recursion and interpretable attention maps without additional annotations. The code is available at \url{https://github.com/yuleiniu/rva}.

연구 동기 및 목표

• 다중 라운드 시각 대화에서 '그들'이나 '그것'과 같은 대명사가 이미지 객체와 이전 대화 기록에 연결되어야 하는 시각적 공호현상 해결 문제를 해결하기 위해.
• 모든 과거 시각적 특징을 저장하거나 모두 주시하는 것이 아니라, 인간과 유사한 선택적 대화 기록 검토 방식을 모방하는 메커니즘을 개발하기 위해.
• 이산적 재귀 결정 과정을 Gumbel-Max 기법과 연속적 근사화를 사용해 엔드 투 엔드로 학습시킬 수 있도록 하기 위해.
• 주제 인식 재귀와 정확한 참조 지정을 반영하는 해석 가능하고 신뢰할 수 있는 주의 맵을 생성하기 위해.
• 공호현상 애너테이션을 추가로 요구하지 않고도 시각 대화 벤치마크 성능을 향상시키기 위해.

제안 방법

• RvA 프레임워크는 현재 질문의 모호성이 대화 기록을 재검토할 필요가 있는지 평가하는 재귀 추론 모듈을 사용한다.
• 이산적 재귀 결정을 미분 가능하게 하기 위해 Gumbel-softmax 근사화를 적용하여 엔드 투 엔드 최적화를 가능하게 한다.
• 참조 인식 언어 특징은 대명사나 모호한 참조 신호에 기반해 어느 대화 기록을 재검토할지 에이전트가 식별하도록 이끈다.
• 답변 인식 언어 특징은 최종 답변 생성을 위한 이미지 특징의 활성화를 제어한다.
• Pair 모듈은 기록 인식 스킵을 가능하게 하여, 관련이 없는 대화 라운드를 건너뛰고 모호한 질문과 의미적으로 관련된 이전 발화를 쌍으로 묶을 수 있도록 한다.
• 모델은 영역 제안 네트워크(RPN)와 양방향 LSTM을 각각 시각적 및 텍스트 특징 인코딩에 통합한다.

실험 결과

연구 질문

• RQ1 추가 애너테이션이 필요 없이 재귀적 주의 메커니즘이 시각 대화에서 공호현상 해결 성능을 향상시킬 수 있는가?
• RQ2 대화 기록의 재귀적이고 주제 인식 기반 검토 방식이 단일 라운드 또는 전체 기록 주의 방식보다 더 신뢰성 있고 해석 가능한 시각 주의를 제공하는가?
• RQ3 이산적 재귀 결정은 미분 가능 근사화 기법을 사용해 효과적으로 엔드 투 엔드로 학습될 수 있는가?
• RQ4 기존의 표준 벤치마크인 VisDial v0.9 및 v1.0에서 최고 성능 기록 기술과 비교해 모델 성능은 어떠한가?
• RQ5 모델의 재귀적 행동이 모호한 참조를 처리하는 데 있어 인간의 사고 방식을 어느 정도 반영하고 있는가?

주요 결과

• RvA는 VisDial v0.9에서 최고 성능을 기록하여 평균 역순순위(MRR)가 0.5543을 기록했으며, CoAtt 및 CorefNMN과 같은 이전 방법들을 능가했다.
• VisDial v1.0에서 RvA는 MRR가 0.6634이며, 1위 정확도는 52.71%, 5위 정확도는 82.97%, 10위 정확도는 90.73%로 강력한 검색 성능를 보였다.
• 정성적 분석 결과, 89%의 재귀적 주의 맵이 모호한 질문에 대해 타당한 것으로 평가되었으며, 질문 유도 주의의 경우 이는 56%에 불과했다.
• 에이전트는 대화 세션의 62%에서 공호현상을 정확히 해결하여 대명사와 생략어 처리에 있어 뛰어난 강건성을 보였다.
• Pair 모듈은 기록 인식 스킵을 가능하게 했다: 정답 기록이 제공되면 에이전트는 관련 없는 라운드(예: 'cord가 없어요'에서 'no'를 건너뛰기)를 스킵하지만, 가짜 기록이 제공되면 항상 마지막 라운드와 쌍을 이룬다.
• 제거 실험 결과, RPN 또는 재귀적 주의를 제거할 경우 성능이 크게 떨어지며, 이는 양 구성 요소의 중요성을 입증한다.