[논문 리뷰] DAGN: Discourse-Aware Graph Network for Logical Reasoning

Yinya Huang, Meng Fang외 3명|arXiv (Cornell University)|2021. 03. 26.

Topic Modeling참고 문헌 49인용 수 6

한 줄 요약

이 논문은 논리적 추론을 질문-답변(QA)에 통합하기 위해 기본 논리 단위(EDU)와 논의 관계에서 구성된 논리 그래프를 활용하는 논의 인식 그래프 네트워크(DAGN)를 제안한다. 그래프 신경망을 활용해 논의 인식 특징을 학습하고, 이를 문맥 기반 임bedding과 융합함으로써, ReClor 및 LogiQA에서 최신 기준 성능을 달성하며, 논의 구조가 논리적 추론을 향상시키는 데 효과적임을 입증한다.

ABSTRACT

Recent QA with logical reasoning questions requires passage-level relations among the sentences. However, current approaches still focus on sentence-level relations interacting among tokens. In this work, we explore aggregating passage-level clues for solving logical reasoning QA by using discourse-based information. We propose a discourse-aware graph network (DAGN) that reasons relying on the discourse structure of the texts. The model encodes discourse information as a graph with elementary discourse units (EDUs) and discourse relations, and learns the discourse-aware features via a graph network for downstream QA tasks. Experiments are conducted on two logical reasoning QA datasets, ReClor and LogiQA, and our proposed DAGN achieves competitive results. The source code is available at https://github.com/Eleanor-H/DAGN.

연구 동기 및 목표

• 복잡한 문단에서 숨겨진 논증 구조를 파악해야 하는 논리적 추론 문제를 해결하기 위해.
• 토큰 수준 또는 실체 수준의 관계를 넘어서 논의 수준의 구조를 통합함으로써 추론 능력을 향상시키기 위해.
• 논증적 텍스트에서 논리 단위와 관계를 정의하는 수단으로 논의 관계를 활용해 보다 나은 방법을 탐색하기 위해.
• 논의 구조를 명시적으로 모델링하는 그래프 기반 방법을 개발하여 QA 작업에서의 추론 능력을 향상시키기 위해.
• 논의 인식 그래프 학습이 논리적 추론 벤치마크에서 성능 향상에 기여함을 입증하기 위해.

제안 방법

• PDTB 2.0의 논의 관계를 사용해 텍스트를 기본 논리 단위(EDU)로 분할하고, 이를 논리 그래프의 노드로 간주한다.
• 논의 관계(명시적 및 암시적)가 EDU를 연결하는 간선으로 기능하여 논의 기반 논리 그래프를 형성한다.
• 그래프 신경망(GNN)이 그래프 구조에서 메시지 전달을 수행하여 논의 인식 특징을 학습한다.
• 사전 훈련된 언어 모델에서 유도된 문맥 기반 토큰 임베딩을 논의 인식 그래프 특징과 융합하여 답변 예측을 수행한다.
• 교차 엔트로피 손실을 사용하여 다중 선택 논리적 추론 QA 데이터셋에서 엔드 투 엔드로 모델을 훈련한다.
• 제거 실험을 통해 논의 구조, 그래프 추론, 적절한 EDU/간선 설계의 중요성을 검증한다.

실험 결과

연구 질문

• RQ1 논의 관계는 논증적 텍스트에서 논리적 추론 단위(EDU)를 효과적으로 정의하는 데 사용될 수 있는가?
• RQ2 그래프 기반 모델에 논의 구조를 통합할 경우 QA에서 논리적 추론 능력은 어떻게 향상되는가?
• RQ3 다양한 그래프 구축 선택(예: 노드 해상도, 간선 유형 등)이 추론 성능에 어떤 영향을 미치는가?
• RQ4 논의 인식 특징은 사전 훈련된 언어 모델의 추론 능력을 어느 정도 향상시키는가?
• RQ5 논리적 추론에 있어 실체 기반 또는 완전 연결 그래프보다 논의 기반 그래프 구조가 더 효과적인가?

주요 결과

• DAGN은 ReClor 및 LogiQA에서 기존 오픈소스 방법들을 능가하는 경쟁력 있는 성능을 달성한다.
• 구문 수준의 EDU를 노드로 사용할 경우 문장 수준이나 더粗모양의 단위를 사용할 때보다 더 좋은 결과를 얻으며, 더粗모양의 단위를 사용하면 정확도가 64.40%로 떨어진다.
• 논의 관계를 제거(즉, 완전 연결 그래프 사용)하면 성능이 61.60%로 떨어지며, 이는 의미 있는 간선 연결의 중요성을 입증한다.
• 모든 간선을 동일한 유형으로 간주하면 정확도가 64.80%로 떨어지며, 이는 논의 관계 유형을 구분하는 것이 추론 능력을 향상시킨다는 것을 시사한다.
• 그래프 추론 모듈을 제거한 실험에서 성능 저하가 심각하게 발생함으로써, 논의 인식 특징 학습의 필요성을 확인한다.
• 모델의 성능은 그래프 구조의 수정에 대해 뛰어난 내성성을 보이지만, 최적의 설계(EDU + 논의 관계)가 가장 우수한 성능을 낸다.