[논문 리뷰] Multi-step Reasoning via Recurrent Dual Attention for Visual Dialog

Zhe Gan, Yu Cheng외 4명|arXiv (Cornell University)|2019. 02. 01.

Multimodal Machine Learning Applications참고 문헌 73인용 수 29

한 줄 요약

이 논문은 시각 대화에서 다중 단계 추론을 위한 프레임워크인 반복 이중 주의망(Recurrent Dual Attention Network, ReDAN)을 제안한다. ReDAN은 이미지 및 대화 이력 특징에 대한 반복 주의를 통해 질문 표현을 점진적으로 개선한다. 여러 추론 단계에 걸쳐 관련된 시각적 및 텍스트적 단서에 점차 집중함으로써, VisDial v1.0 데이터셋에서 기존 최고 성능을 갱신하는 64.47%의 NDCG 스코어를 달성하였으며, 시각화 결과는 시간이 지남에 따라 더욱 선명한 주의 맵을 보여준다.

ABSTRACT

This paper presents a new model for visual dialog, Recurrent Dual Attention Network (ReDAN), using multi-step reasoning to answer a series of questions about an image. In each question-answering turn of a dialog, ReDAN infers the answer progressively through multiple reasoning steps. In each step of the reasoning process, the semantic representation of the question is updated based on the image and the previous dialog history, and the recurrently-refined representation is used for further reasoning in the subsequent step. On the VisDial v1.0 dataset, the proposed ReDAN model achieves a new state-of-the-art of 64.47% NDCG score. Visualization on the reasoning process further demonstrates that ReDAN can locate context-relevant visual and textual clues via iterative refinement, which can lead to the correct answer step-by-step.

연구 동기 및 목표

• 단일 단계 추론의 한계를 해결하여, 시각 대화 시스템에서 세밀한 다중 모odal 컨텍스트를 포착하지 못하는 문제를 해결한다.
• 이미지 및 대화 이력 특징을 활용해 다중 단계에 걸쳐 질문 표현을 점진적으로 정교화함으로써, 반복적이고 점진적인 추론을 가능하게 한다.
• 특히 이미지 영역과 대화 이력의 통합이 필요한 질문에 대해 복잡한 시각 대화 상황에서의 정답 정확도를 향상시킨다.
• 추론 진행 과정을 추적할 수 있는 주의 시각화를 통해 모델의 강건성과 해석 가능성(해석 가능성)을 향상시킨다.
• 구조적 혁신과 앙상블 기법을 통해 VisDial v1.0 벤치마크에서 최고 성능을 달성한다.

제안 방법

• 이미지 및 대화 이력 특징을 모두 활용해 다중 추론 단계에서 질문 표현을 업데이트하는 반복 이중 주의 메커니즘을 도입한다.
• 이미지 특징과 대화 이력을 저장할 시각적 및 텍스트 기억 메모리를 유지하여, 각 추론 단계에서 교차 주의를 가능하게 한다.
• 반복 신경망을 사용해 주의한 시각적 및 텍스트적 단서를 바탕으로 질문 표현을 반복적으로 정밀화한다.
• 각 단계에서 관련된 이미지 영역과 대화 이력 조각을 동시에 주의하도록 이중 주의를 적용하며, 주의 가중치는 시간이 지남에 따라 점차 선명해진다.
• 분류 모델과 생성 모델을 순위 집계(순위 평균)를 통해 조합하여 성능을 향상시키며, 특히 NDCG 성능 향상에 기여한다.
• 다양한 이미지 특징과 관계 인식 인코더를 활용한 앙상블 전략을 적용하여 일반화 능력을 더욱 향상시키고, 결과적으로 ReDAN+를 도출한다.

실험 결과

연구 질문

• RQ1 다중 단계 추론을 통해 질문 표현의 점진적 정교화를 가능하게 하여 시각 대화 성능을 향상시킬 수 있는가?
• RQ2 이미지 및 대화 이력에 대한 반복 주의는 단일 단계 주의에 비해 정답 정확도를 어떻게 향상시키는가?
• RQ3 분류 모델과 생성 모델의 순위 집계는 시각 대화에서 NDCG 스코어 향상에 얼마나 기여하는가?
• RQ4 모델의 주의 메커니즘이 반복적인 추론 단계를 거치며 점차 더 집중되고 해석 가능해지는가?
• RQ5 특히 세는 것 또는 색상 식별과 같은 어려운 질문들에 대해 모델은 어떤 성능을 보이는가?

주요 결과

• ReDAN은 VisDial v1.0 검증 세트에서 기존 최고 성능을 갱신하는 새로운 최고 성능 NDCG 스코어 64.47%를 달성하였다.
• ReDAN+ 앙상블 모델은 4개의 분류 모델과 4개의 생성 모델을 순위 평균으로 조합하여 검증 세트에서 67.12%의 NDCG 스코어를 기록하였다.
• 시각화 결과는 주의 맵이 추론 단계가 진행됨에 따라 점차 선명해지며, 주의가 넓은 영역에서 집중된 영역으로 이동하는 것을 확인할 수 있었다 (예: '소년'에서 '짧은 바지'로의 이동).
• 예/아니요 질문에서는 생성 모델이 분류 모델보다 우수한 성능을 보였다 (63.49% 대 60.89%).
• 반대로 수치 및 색상 질문에서는 분류 모델이 더 높은 성능을 보였다.
• 분류 모델과 생성 모델을 순위 평균으로 조합한 결과 NDCG 스코어가 65.13%로 가장 높았으며, 이는 상호 보완적 향상 효과를 보여주었다.
• 수치 질문은 여전히 가장 도전적인 질문 유형으로, 성능이 가장 낮았다 (분류 모델: 44.47%, 생성 모델: 41.09%), 이는 보다 나은 세는 메커니즘의 필요성을 시사한다.