[논문 리뷰] Discern: Discourse-Aware Entailment Reasoning Network for Conversational Machine Reading

Yifan Gao, Chien-Sheng Wu외 6명|arXiv (Cornell University)|2020. 10. 05.

Topic Modeling참고 문헌 24인용 수 6

한 줄 요약

Discern는 대화형 기계적독해를 위한 논의 인식 엄밀함 추론 네트워크로, 규칙 텍스트를 기본 논의 단위(EDU)로 분할하고 사용자 입력에 상대적인 각 EDU에 대해 엄밀함 상태(엄밀함/모순/중립)를 예측한다. 엄밀함 상태와 최종 결정 간의 의존성을 명시적으로 모델링함으로써, ShARC 벤치마크에서 78.3%의 매크로 평균 정확도와 64.0 BLEU1의 후속 질문 생성 성능을 달성하여 최신 기준 성능을 확립한다.

ABSTRACT

Document interpretation and dialog understanding are the two major challenges for conversational machine reading. In this work, we propose Discern, a discourse-aware entailment reasoning network to strengthen the connection and enhance the understanding for both document and dialog. Specifically, we split the document into clause-like elementary discourse units (EDU) using a pre-trained discourse segmentation model, and we train our model in a weakly-supervised manner to predict whether each EDU is entailed by the user feedback in a conversation. Based on the learned EDU and entailment representations, we either reply to the user our final decision "yes/no/irrelevant" of the initial question, or generate a follow-up question to inquiry more information. Our experiments on the ShARC benchmark (blind, held-out test set) show that Discern achieves state-of-the-art results of 78.3% macro-averaged accuracy on decision making and 64.0 BLEU1 on follow-up question generation. Code and models are released at https://github.com/Yifan-Gao/Discern.

연구 동기 및 목표

• 대화형 기계적독해에서 논리적 구조(예: 결합, 선택)를 가진 복잡한 규칙 텍스트를 해석하는 과제를 해결한다.
• 사용자 입력과 규칙 조건 간의 조건 수준 엄밀함 상태를 모델링하여 대화 이해를 향상시킨다.
• 엄밀함 예측을 최종 결정에 명시적으로 연결함으로써 의사결정 및 후속 질문 생성을 향상시킨다.
• 이전 방법들이 엄밀함 추론을 다중 과제 목적 또는 무시하는 경향이 있는 점을 보완한다.
• 약한 지도 학습 프레임워크를 제공하여 논의 분할을 활용해 규칙 텍스트 내 조건을 더 잘 분석하고 추론할 수 있도록 한다.

제안 방법

• 규칙 텍스트를 사전 학습된 논의 분할 모델을 사용해 문장 유사 기본 논의 단위(EDU)로 분할하여 개별 조건을 분리한다.
• 각 EDU에 대해 사용자 시나리오와 대화 이력을 인코딩하기 위해 스택형 문장 간 트랜스포머 아키텍처를 사용하여 엄밀함 신뢰도 점수(엄밀함/모순/중립)를 예측한다.
• 예측된 엄밀함 상태를 각 조건별 엄밀함 벡터로 매핑하고, 규칙의 논리적 구조(예: AND, OR)를 사용해 이를 조합하여 최종 결정을 도출한다.
• 최종 결정에 대한 골드 표준 레이블(Yes/No/Inquire/Irrelevant)을 사용하여 엄밀함 예측 헤드를 약한 지도 학습 방식으로 훈련한다.
• 중립 또는 모순적 엄밀함 상태를 가진 부족한 조건을 식별하여 동일한 엄밀함 인식 표현을 사용해 후속 질문을 생성한다.
• 엄밀함 추론, 의사결정, 질문 생성 간의 통합 학습 목표를 사용하여 다중 과제 학습의 단점을 피한다.

실험 결과

연구 질문

• RQ1 규칙 텍스트를 EDU로 논의 인식 분할하면 대화형 기계적독해에서 조건 수준 엄밀함 추론 성능이 향상되는가?
• RQ2 엄밀함 상태와 최종 결정 간의 의존성을 명시적으로 모델링하면 다중 과제나 종단 간 접근 방식보다 성능이 향상되는가?
• RQ3 합성 및 선택과 같은 복잡한 논리적 구조에서 기존 방법과 비교해 모델 성능은 어떻게 되는가?
• RQ4 사용자 시나리오 해석의 주요 실패 원인은 무엇이며, 이는 엄밀함 예측과 결정 정확도에 어떤 영향을 미치는가?
• RQ5 논의 인식 엄밀함 추론은 대화형 QA 시스템에서 후속 질문 생성을 얼마나 향상시킬 수 있는가?

주요 결과

• Discern는 ShARC 벤치마크의 블라인드, 보류된 테스트 세트에서 의사결정 작업에서 78.3%의 신규 최고 성능 매크로 평균 정확도를 달성했다.
• 이전 최고 성능 모델인 EMT에 비해 마이크로 평균 정확도 3.8%p, 매크로 평균 정확도 3.5%p 향상되었다.
• 특히 내장 조건과 합성 조건에서 뛰어난 성능을 보이며 EDU 수준 엄밀함 추론의 효과성을 입증했다.
• 모델은 BLEU1 점수 64.0을 기록하여 이전 최고 성능 모델 EMT와 동일한 성능을 달성했다.
• 분석 결과 사용자 시나리오 해석이 주요 병목 현상이었으며, 특히 일반 지식 및 어휘 재구성 추론에서 엄밀함 상태를 자주 잘못 분류했다.
• 구조화된 조건에서는 뛰어난 성능를 보였지만, 선택 조건에서는 어려움을 겪어 규칙 텍스트 내 논리적 선택 조건에 대한 더 나은 처리 필요성이 드러났다.