[논문 리뷰] GraphFlow: Exploiting Conversation Flow with Graph Neural Networks for Conversational Machine Comprehension

Yu Chen, Lingfei Wu외 1명|arXiv (Cornell University)|2019. 07. 31.

Topic Modeling참고 문헌 33인용 수 23

한 줄 요약

GraphFlow는 질문과 대화 역사에 대한 인지가 반영된 동적 링크 기반의 맥락 그래프를 각 대화 턴에서 동적으로 구성하는 그래프 신경망 기반 모델을 제안한다. 이는 흐름 기반의 새로운 순환 그래프 신경망을 사용하여 대화 간 시간적 의존성을 모델링한다. CoQA, QuAC, DoQA 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하면서도 주목도 시각화를 통해 해석 가능성도 향상시킨다.

ABSTRACT

Conversational machine comprehension (MC) has proven significantly more challenging compared to traditional MC since it requires better utilization of conversation history. However, most existing approaches do not effectively capture conversation history and thus have trouble handling questions involving coreference or ellipsis. Moreover, when reasoning over passage text, most of them simply treat it as a word sequence without exploring rich semantic relationships among words. In this paper, we first propose a simple yet effective graph structure learning technique to dynamically construct a question and conversation history aware context graph at each conversation turn. Then we propose a novel Recurrent Graph Neural Network, and based on that, we introduce a flow mechanism to model the temporal dependencies in a sequence of context graphs. The proposed GraphFlow model can effectively capture conversational flow in a dialog, and shows competitive performance compared to existing state-of-the-art methods on CoQA, QuAC and DoQA benchmarks. In addition, visualization experiments show that our proposed model can offer good interpretability for the reasoning process.

연구 동기 및 목표

• 핵심 대용어와 생략 문제를 다루기 위해 대화 역사에 효과적으로 대응하는 방법을 개선하기 위해.
• 단순한 순서로 간주하는 것 대신 단어 간 풍부한 의미적 관계를 포착하여 본문 텍스트에 대한 추론을 향상시키기 위해.
• 맥락을 변화하는 그래프로 표현하고 순환 그래프 신경망에 흐름 기반 메커니즘을 적용하여 대화 턴 간 시간적 의존성을 모델링하기 위해.
• 숨겨진 표현의 변화를 통해 대화 턴 간 초점 이동을 주목도 시각화를 통해 분석함으로써 모델의 해석 가능성 향상하기 위해.
• 다양한 대화 기반 기계 이해 벤치마크에서 경쟁력 있는 성능을 달성하면서도 모듈화되고 설명 가능한 아키텍처 유지하기 위해.

제안 방법

• 각 대화 턴에서 질문과 대화 역사에 기반해 학습된 간선을 가진 맥락 그래프를 동적으로 구성한다. 여기서 각 단어는 노드로 표현된다.
• 각 맥락 그래프를 처리하고 턴 간 은닉 상태를 유지함으로써 시간 흐름을 모델링하는 순환 그래프 신경망(RGNN)을 사용한다.
• 이전 턴의 추론 결과를 현재 턴의 그래프 어텐션과 메시지 전파에 전달하는 흐름 기반 메커니즘을 도입한다.
• 계산 비용을 줄이면서도 맥락 그래프의 핵심 의미적 관계를 유지하기 위해 k-NN 기반 그래프 희소화를 사용한다.
• 단어 표현의 풍부함을 향상시키고 성능 향상을 위해 사전 학습된 BERT 임베딩을 입력 특징으로 활용한다.
• 질문 임베딩과 맥락 그래프 임베딩 간 매칭 점수를 계산하여 답변 스파이크를 예측한다.

실험 결과

연구 질문

• RQ1 기반 그래프 표현을 사용하여 기계 이해에서 대화 흐름을 효과적으로 모델링할 수 있는가?
• RQ2 역사 인지 맥락 그래프를 동적으로 구성함으로써 대화 기반 기계 이해 작업의 성능 향상은 어느 정도 이루어지는가?
• RQ3 시간적 연결을 가진 순환 GNN이 기존의 순차적 추론 메커니즘(예: Integration-Flow)보다 우월한가?
• RQ4 특히 이전 답변을 포함함으로써 모델 성능과 초점 이동에 어떤 영향을 미치는가?
• RQ5 모델의 추론 과정을 의미적으로 시각화할 수 있는가? 이를 통해 설명 가능성과 초점 이동을 입증할 수 있는가?

주요 결과

• GraphFlow는 CoQA 개발 세트에서 F1 스코어 78.3을 기록하여 기준 모델 및 변형 모델을 초월한다.
• RGNN 모듈이 성능 향상에 기여하며, 이를 포함하지 않은 모델 대비 F1 스코어가 7.2% 향상된다.
• RGNN 내부의 시간적 연결 구성 요소가 F1 스코어에 6.1% 기여함으로써 턴 간 흐름을 모델링하는 것이 중요함을 입증한다.
• 맥락에 이전 답변 위치를 앞서 추가하는 것이 이전 질문을 포함하는 것보다 더 높은 성능 향상을 이끌어내며, 이를 포함하지 않은 경우 대비 1.6% F1 향상된다.
• k-NN 기반 그래프 희소화 연산은 조밀한 그래프 대비 성능을 0.9% 향상시키며, 노이즈 감소에 효과적임을 보여준다.
• CoQA에서 인간 성능은 F1 80.8이며, GraphFlow는 F1 78.3을 기록하여 인간 수준 이해에 매우 가까운 경쟁력 있는 성능를 달성한다.