[논문 리뷰] Factor Graph Attention

Idan Schwartz, Seunghak Yu외 2명|arXiv (Cornell University)|2019. 04. 11.

Multimodal Machine Learning Applications참고 문헌 61인용 수 14

한 줄 요약

이 논문은 시각 대화에서 다중 데이터 유틸리티(이미지, 질문, 이력, 캡션, 답변)를 요인 그래프 정식화를 통해 통합하는 일반적인 어텐션 메커니즘인 Factor Graph Attention (FGA)를 제안한다. 복잡한 상호작용을 모델링하며 최신 기술 성능을 달성하여 VisDial0.9에서 MRR을 1.1% 향상시키고, VisDial1.0에서는 2% 향상시켰으며, 앙상블 모델을 통해 VisDial1.0에서 성능을 6% 이상 향상시켰다.

ABSTRACT

Dialog is an effective way to exchange information, but subtle details and nuances are extremely important. While significant progress has paved a path to address visual dialog with algorithms, details and nuances remain a challenge. Attention mechanisms have demonstrated compelling results to extract details in visual question answering and also provide a convincing framework for visual dialog due to their interpretability and effectiveness. However, the many data utilities that accompany visual dialog challenge existing attention techniques. We address this issue and develop a general attention mechanism for visual dialog which operates on any number of data utilities. To this end, we design a factor graph based attention mechanism which combines any number of utility representations. We illustrate the applicability of the proposed approach on the challenging and recently introduced VisDial datasets, outperforming recent state-of-the-art methods by 1.1% for VisDial0.9 and by 2% for VisDial1.0 on MRR. Our ensemble model improved the MRR score on VisDial1.0 by more than 6%.

연구 동기 및 목표

• 다양한 데이터 유틸리티(이미지, 질문, 이력, 캡션, 답변)를 효과적으로 통합해야 하는 시각 대화에서 미묘한 뉘앙스와 세부 사항을 모델링하는 데 도전하는 것.
• 기존 어텐션 메커니즘이 일반적으로 시각 대화에서 가용한 데이터 유틸리티의 일부만 다루는 한계를 극복하는 것.
• 어떤 수의 데이터 유틸리티라도 구조적이고 해석 가능한 방식으로 통합할 수 있는 일반적이고 확장 가능한 어텐션 프레임워크를 개발하는 것.
• 이력과 답변 옵션을 포함한 모든 가용 데이터 유틸리티에 대한 세분화된 어텐션을 활용하여 VisDial 벤치마크에서 성능을 향상시키는 것.
• 제안된 방법이 시각 대화를 넘어서도 유연성과 효과성을 보이며, VQA 및 AVSD 작업에서 성능 향상을 보여주는 것.

제안 방법

• 노드가 데이터 유틸리티(예: 이미지, 질문, 이력, 캡션, 답변)를 나타내고, 간선이 이들 간의 상호작용을 나타내는 요인 그래프를 사용하여 어텐션 메커니즘을 정식화한다.
• 정보를 유틸리티 간에 집계하기 위해 메시지 전달 절차를 사용하여, 모델이 복잡한 종속성과 미묘한 신호를 추론할 수 있도록 한다.
• 각 유틸리티별로 별도의 어텐션 헤드를 적용하며, 답변과 이력의 개별 단어에 대한 세분화된 어텐션을 통해 미묘한 맥락을 포착한다.
• 지능형 객체 제안(예: 36개의 영역 특징)을 이미지 표현으로 통합하여 국소화와 추론 성능을 향상시킨다.
• 모든 유틸리티를 동시에 처리하는 다중 헤드 어텐션 메커니즘을 설계하며, 어텐션 가중치는 요인 그래프 전반의 쿼리-키 상호작용 기반으로 계산한다.
• 교차 엔트로피 및 MRR 기반 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련시켜 어텐션과 예측 헤드를 함께 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 통합 어텐션 메커니즘이 시각 대화에서 다중 데이터 유틸리티(이미지, 질문, 이력, 캡션, 답변)를 효과적으로 통합하여 성능 향상에 기여할 수 있는가?
• RQ2 개별 답변 옵션과 이력 질문-답변 쌍에 대한 세분화된 어텐션은 표준 이력 어텐션에 비해 모델 추론을 얼마나 향상시키는가?
• RQ3 요인 그래프를 통해 모든 유틸리티 간의 상호작용을 모델링할 경우, 시각 대화에서 더 나은 해석 가능성과 성능을 달성할 수 있는가?
• RQ4 제안된 어텐션 메커니즘은 시각 대화를 넘어서 VQA 및 AVSD와 같은 다른 다중모odal 작업으로 일반화될 수 있는가?
• RQ5 다양한 유틸리티(예: 캡션, 답변)가 어텐션 패턴과 모델 행동에 기여하는 방식은 무엇이며, 특히 모호하거나 세밀한 경우에 어떤 영향을 미치는가?

주요 결과

• 제안된 Factor Graph Attention 메커니즘은 이전 최고 성능 방법에 비해 VisDial0.9에서 MRR을 1.1% 향상시키고, VisDial1.0에서는 2% 향상시켰다.
• FGA를 사용한 앙상블 모델은 이전 최고 방법보다 VisDial1.0에서 MRR 점수가 6% 이상 높게 기록했다.
• 어텐션에서 답변 유틸리티를 제거하면 MRR이 0.6525에서 0.6294로 크게 감소하여, 대화 맥락을 모델링하는 데 있어 그 역할이 핵심적임을 입증했다.
• 개별 답변 단어에 대한 세분화된 어텐션은 MRR을 0.6494에서 0.6525로 향상시켜, 답변 옵션과의 세밀한 상호작용의 이점이 있음을 보여주었다.
• 표준 어텐션을 FGA로 교체했을 때 VQA v1.0 정확도가 57.0에서 57.3으로 0.3% 향상되어, 더 넓은 적용 가능성을 시사했다.
• AVSD에서 FGA 메커니즘은 영상, 음성, 질문 특징을 통합된 프레임워크에서 효과적으로 어텐션함으로써 CIDEr 점수를 0.733에서 0.806으로 향상시켰다.