[논문 리뷰] Learning Reasoning Paths over Semantic Graphs for Video-grounded Dialogues

Hung Lê, Nancy F. Chen외 1명|arXiv (Cornell University)|2021. 03. 01.

Multimodal Machine Learning Applications참고 문헌 62인용 수 6

한 줄 요약

이 논문은 질문과 답변의 어휘적 및 문법적 구성요소로부터 구축된 의미 그래프를 사용하여 대화 전환 간 장거리 종속성을 모델링하는 비디오 기반 대화를 위한 새로운 프레임워크인 대화 맥락 내 추론 경로(Reasoning Paths in Dialogue Context, PDC)를 제안한다. 그래프 기반 특징 전파를 통해 동적 추론 경로를 학습함으로써 과거 전환에서 관련 시각적 단서를 검색함으로써 답변 생성을 향상시키며, AVSD@DSTC7에서 오라클 경로와 유사한 성능을 달성하고 고정 경로 기반 베이스라인을 능가한다.

ABSTRACT

Compared to traditional visual question answering, video-grounded dialogues require additional reasoning over dialogue context to answer questions in a multi-turn setting. Previous approaches to video-grounded dialogues mostly use dialogue context as a simple text input without modelling the inherent information flows at the turn level. In this paper, we propose a novel framework of Reasoning Paths in Dialogue Context (PDC). PDC model discovers information flows among dialogue turns through a semantic graph constructed based on lexical components in each question and answer. PDC model then learns to predict reasoning paths over this semantic graph. Our path prediction model predicts a path from the current turn through past dialogue turns that contain additional visual cues to answer the current question. Our reasoning model sequentially processes both visual and textual information through this reasoning path and the propagated features are used to generate the answer. Our experimental results demonstrate the effectiveness of our method and provide additional insights on how models use semantic dependencies in a dialogue context to retrieve visual cues.

연구 동기 및 목표

• 기존의 비디오 기반 대화 모델이 대화 전환 간 장거리 종속성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 어휘적 및 문법적 구성요소를 다리 역할을 하는 실체로 삼아 다중 전환 대화의 논의 수준의 의미적 구조를 모델링하기 위해.
• 다양한 과거 전환에서 현재 전환으로의 다중모odal 특징 전파를 이끄는 학습 가능한 추론 경로 메커니즘을 개발하기 위해.
• 동적으로 예측된 추론 경로를 따라 시각적 및 텍스트적 특징을 통합함으로써 답변 생성을 향상시키기 위해.
• 학습된 추론 경로가 비디오 대화에서 고정 경로나 무작위 경로 전파 전략보다 우수한 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 각 대화 전환의 질문과 답변에서 문법적 의존성 분석을 통해 추출한 하위 노드(엔티티, 동작 어구)를 사용하여 전환 수준의 의미 그래프를 구축한다.
• 어휘적 겹침 또는 의미적 유사성(사전 학습된 단어 임베딩과 코사인 유사도를 활용)을 통해 전환 간 노드를 연결하여 그래프 내 간선을 형성한다.
• 기존에 생성된 인덱스를 기반으로 다음 전환 인덱스를 회귀 예측함으로써 현재 전환에서 과거 전환으로의 추론 경로를 예측하는 트랜스포머 디코더를 훈련시킨다.
• 예측된 추론 경로를 따라 그래프 컨볼루션 네트워크(GCN)를 사용하여 시각적 및 텍스트적 특징을 전파하고, 단계적으로 다중모달 정보를 통합한다.
• 최종적으로 전파된 특징을 트랜스포머 디코더와 결합하여 답변을 생성하며, 경로 예측과 응답 생성을 동시에 최적화할 수 있도록 한다.
• 경로 생성에 비트 시프트 또는 급작스러운 디코딩을 사용하며, 학습된 경로와 고정 경로(예: 최근 n회 전환) 및 오라클 경로를 비교하는 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 장거리 종속성을 포착함으로써 학습된 추론 경로 메커니즘이 비디오 기반 대화에서 성능 향상에 기여할 수 있는가?
• RQ2 어휘적 및 문법적 구성요소를 사용한 제안된 의미 그래프 구축 방식이 현재 질문에 대한 관련 과거 대화 전환을 식별하는 데 얼마나 효과적인가?
• RQ3 동적 경로 학습 방식이 최근 n회 전환을 사용하는 고정 전파 전략보다 우수한가?
• RQ4 예측된 추론 경로가 최적의 관련 전환 순서를 알고 있는 오라클 경로의 성능과 얼마나 유사한가?
• RQ5 비트 시프트와 급작스러운 디코딩 등의 다양한 경로 생성 전략이 최종 응답 품질과 계산 비용에 어떤 영향을 미치는가?

주요 결과

• 학습된 추론 경로를 사용한 PDC 모델은 CIDEr 점수 1.195를 기록하여 오라클 경로와 동일한 성능을 달성하고, 랜덤 또는 고정 경로 기반 베이스라인(예: 랜덤 경로의 경우 CIDEr 0.684)을 크게 능가한다.
• 비트 시프트 또는 급작스러운 경로 생성을 사용한 모델은 거의 동일한 성능(최종 CIDEr: 1.194~1.195)을 기록하여, 짧은 경로 길이 때문에 급작스러운 디코딩으로도 충분히 효과적임을 시사한다.
• n이 매우 큰 경우(예: 최근 10회 전환)에도 고정된 최근 전환만을 사용하는 베이스라인보다 성능이 뛰어나, 학습된 경로가 히وري스틱한 시간 순서보다 더 효과적임을 보여준다.
• 정성적 분석을 통해 예측된 추론 경로가 불필요한 전환(예: A 예제에서 8번 전환)을 정확히 건너뛰고, 의미적으로 관련 있는 과거 전환(예: 'the bag' 또는 'the cushion'이 포함된 전환)만 연결함을 확인할 수 있다.
• 매개변수화되지 않은 그래프 구축 방식(코사인 유사도)과 사전 학습된 임베딩을 사용함으로써, 그래프 구조에 대한 추가 학습 없이도 효과적인 의미 연결이 가능하다.
• 경로 생성과 답변 생성을 함께 훈련시킴으로써, 별도의 훈련보다 더 나은 특징 전파와 향상된 답변 품질을 달성한다.