[논문 리뷰] Reasoning Visual Dialogs with Structural and Partial Observations

Zilong Zheng, Wenguan Wang외 2명|arXiv (Cornell University)|2019. 04. 11.

Multimodal Machine Learning Applications참고 문헌 69인용 수 26

한 줄 요약

이 논문은 부분적으로 관측된 노드와 알려지지 않은 관계를 가진 마르코프 무작위장(Markov Random Field)으로 대화를 모델링함으로써, 시각적 대화 작업에서 은닉된 대화 구조와 답변을 함께 추론하는 가분성 있는 그래프 신경망(GNN) 프레임워크를 제안한다. 기대값 최대화(Expectation-Maximization)를 모방한 알고리즘을 사용하여, 모델은 간선 가중치와 노드 표현을 반복적으로 개선하며, 대화 엔티티 간의 구조적 의존성에 대해 명시적으로 추론함으로써 VisDial 및 VisDial-Q 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

We propose a novel model to address the task of Visual Dialog which exhibits complex dialog structures. To obtain a reasonable answer based on the current question and the dialog history, the underlying semantic dependencies between dialog entities are essential. In this paper, we explicitly formalize this task as inference in a graphical model with partially observed nodes and unknown graph structures (relations in dialog). The given dialog entities are viewed as the observed nodes. The answer to a given question is represented by a node with missing value. We first introduce an Expectation Maximization algorithm to infer both the underlying dialog structures and the missing node values (desired answers). Based on this, we proceed to propose a differentiable graph neural network (GNN) solution that approximates this process. Experiment results on the VisDial and VisDial-Q datasets show that our model outperforms comparative methods. It is also observed that our method can infer the underlying dialog structure for better dialog reasoning.

연구 동기 및 목표

• 대화 엔티티 간의 복잡한 의미적 의존성을 모델링하여 시각적 대화에서 추론 문제를 해결하는 것.
• 부분적으로 관측된 그래픽 모델에서 누락된 답변 값과 알려지지 않은 대화 구조(엔티티 간의 관계)를 함께 추론하는 것.
• 비지도 구조 탐색과 추론을 근사하는 가분성 있고 종단간(end-to-end) 프레임워크를 개발하는 것.
• 상호 의존성에 기반하여 노드 표현과 간선 가중치를 반복적으로 개선함으로써 추론 성능을 향상시키는 것.
• 추론된 간선 가중치를 통해 명시적으로 학습하고 시각화함으로써 해석 가능성(interpretability)을 제공하는 것.

제안 방법

• 대화는 마르코프 무작위장(Markov Random Field, MRF)으로 모델링되며, 노드는 대화 엔티티(예: 이미지 캡션, 질문, 답변)를 나타내고 간선은 의미적 의존성을 나타낸다.
• 문제는 누락된 노드 값(예: 답변)과 알려지지 않은 간선 가중치(관계)의 공동 추론으로 공식화되며, 관측된 노드는 입력으로 주어지고 답변은 부분적으로 관측된 노드로 간주된다.
• 기대값 최대화(Expectation-Maximization, EM) 스타일의 알고리즘이 제안된다: E단계는 현재 간선 가중치를 기반으로 누락된 노드 값을 추정하고, M단계는 현재 노드 값에 기반해 간선 가중치를 업데이트한다.
• EM 과정을 근사하기 위해 가분성 있는 GNN이 설계되어 메시지 전파를 통해 역전파(backpropagation)와 종단간 훈련을 가능하게 한다.
• 노드 임베딩은 사전 학습된 언어 표현을 사용해 초기화되며, 반복적인 메시지 전파 동안 간선 가중치는 동적으로 업데이트된다.
• 모델은 3~4회의 메시지 전파 라운드를 반복하는 추론을 사용하며, 반복 횟수가 증가함에 따라 수렴성과 성능 향상이 나타난다.

실험 결과

연구 질문

• RQ1 레이블이 없는 구조를 가진 통합 프레임워크가 시각적 대화 작업에서 대화 구조와 답변을 함께 추론할 수 있는가?
• RQ2 고정되거나 일정한 간선 가중치에 비해, 동적으로 학습되는 간선 가중치는 대화 의존성을 어떻게 더 잘 모델링하는가?
• RQ3 반복적 메시지 전파가 단일 전파 방법에 비해 답변 예측 성능에 얼마나 기여하는가?
• RQ4 모델은 인간의 추론 패턴과 일치하는 해석 가능한 대화 구조를 발견할 수 있는가?
• RQ5 제안된 방법은 다음 질문 예측이 필요한 것을 포함해 다양한 시각적 대화 벤치마크에 일반화되는가?

주요 결과

• 3회의 EM 반복을 포함한 전체 모델은 VisDial v0.9에서 최고 성능을 기록하였으며, MRR 0.6285, R@1 48.95%, R@5 79.65%, R@10 88.36%, 평균 순위 4.57을 기록했다.
• EM 반복 없이 학습된 모델는 가장 열악한 성능을 보였으며, 노드 및 간선 표현의 반복적 개선이 필수적임을 입증했다.
• 고정 그래프 변형(모든 간선 가중치를 1로 설정)은 비반복 모델보다 성능이 뛰어났지만 전체 모델에 비해 열등했으며, 이는 동적 간선 가중치가 오해의 소지를 가진 메시지를 걸러내는 데 핵심적임을 시사한다.
• 3회의 반복을 가진 모델는 성능과 수렴성 사이의 최적 균형을 이룩했으며, VisDial v0.9에서 2, 4회 반복 및 기타 변형보다 뛰어난 성능을 보였다.
• VisDial-Q에서 전체 모델은 MRR 0.4126, R@1 27.15%, R@5 56.47%, R@10 71.97%, 평균 순위 8.86을 기록하여 이전 방법들(예: SF-QIH)을 능가했다.
• 진단 실험 결과, 동적 간선 가중치를 가진 메시지 전파가 관련 정보를 선택적으로 전파함으로써 추론 성능을 크게 향상시킴을 확인했다.