[논문 리뷰] Open-Retrieval Conversational Machine Reading

Yifan Gao, Jingjing Li외 3명|arXiv (Cornell University)|2021. 02. 17.

Topic Modeling참고 문헌 36인용 수 13

한 줄 요약

이 논문은 사용자 질문에 대해 상호작용적으로 답변하기 위해 다수의 노이즈가 섞인 규칙 문서를 검색하고 추론해야 하는 오픈 리트리ieval 대화형 기계적독해 설정을 제안한다. 제안된 Mudern 모델은 논의 인식 다중패스 엄밀함 추론을 사용하여 조건을 추출하고 만족 상태를 평가하며, 답변할지 또는 명확화 질문을 해야 할지 결정한다. 이 모델은 새로 제작된 OR-ShARC 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

In conversational machine reading, systems need to interpret natural language rules, answer high-level questions such as "May I qualify for VA health care benefits?", and ask follow-up clarification questions whose answer is necessary to answer the original question. However, existing works assume the rule text is provided for each user question, which neglects the essential retrieval step in real scenarios. In this work, we propose and investigate an open-retrieval setting of conversational machine reading. In the open-retrieval setting, the relevant rule texts are unknown so that a system needs to retrieve question-relevant evidence from a collection of rule texts, and answer users' high-level questions according to multiple retrieved rule texts in a conversational manner. We propose MUDERN, a Multi-passage Discourse-aware Entailment Reasoning Network which extracts conditions in the rule texts through discourse segmentation, conducts multi-passage entailment reasoning to answer user questions directly, or asks clarification follow-up questions to inquiry more information. On our created OR-ShARC dataset, MUDERN achieves the state-of-the-art performance, outperforming existing single-passage conversational machine reading models as well as a new multi-passage conversational machine reading baseline by a large margin. In addition, we conduct in-depth analyses to provide new insights into this new setting and our model.

연구 동기 및 목표

• 관련 규칙 문서가 사전에 제공되지 않는 오픈 리트리ieval 설정에서 대화형 기계적독해의 격차를 해소하기 위해.
• 오픈 리트리ieval 대화형 기계적독해를 위한 첫 번째 데이터셋인 OR-ShARC를 구축하여, 사용자 질문의 불완전성에 기반해 특정 복리로 근거를 제공한다.
• 다수의 검색된 규칙 문서를 바탕으로 결정을 내리거나 추가 질문을 요청하기 위해 다중패스 논의 인식 엄밀함 추론 네트워크인 Mudern을 설계하고 평가한다.
• 보이는 규칙 문서와 보이지 않는 규칙 문서에 대한 모델의 견고성 분석을 통해 새로운 규칙 문서에 대한 제로샷 일반화의 과제를 밝혀낸다.

제안 방법

• ShARC 데이터셋의 불완전한 질문을 재구성하여 오픈 리트리ieval 설정에서의 모호성을 제거하기 위해 특정 복리에 기반한 완전한 질문으로 전환한다.
• TF-IDF를 사용하여 노이즈가 섞이거나 관련이 없는 문서를 포함한 컬렉션에서 다수의 관련 규칙 문서를 검색한다.
• 논의 분할을 적용하여 규칙 문서에서 개별 조건을 식별하고 추출함으로써 구조적 이해를 향상시킨다.
• 사용자가 제공한 정보를 사용하여 각 조건의 만족 상태를 평가하는 다중패스 엄밀함 추론 프레임워크를 적용한다.
• RoBERTa 기반 문장 인코딩과 문장 간 상호작용을 모델링하기 위한 인터-문장 트랜스포머 레이어를 결합하여 상호관계를 개선하고 추론 성능을 향상시킨다.
• 엄밀함 감독을 사용하여 조건의 만족 상태에 기반해 결정을 '예', '아니요', 또는 '질문'으로 분류하도록 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 관련 규칙 문서가 사전에 제공되지 않고 대량의 컬렉션에서 검색되어야 할 경우, 대화형 기계적독해 모델의 성능은 어떻게 저하되는가?
• RQ2 다중패스 추론에서 조건 추출 및 결정 정확도에 대해 논의 분할이 어떤 영향을 미치는가?
• RQ3 노이즈가 섞이거나 관련이 없는 검색된 규칙 문서를 다루는 데 있어 다중패스 엄밀함 추론의 효과성은 어떠한가?
• RQ4 훈련 중에 존재하지 않은 새로운, 보이지 않는 규칙 문서에 대해 모델이 일반화할 수 있는가?
• RQ5 모델 아키텍처의 구성 요소 중에서 논의 분할, 트랜스포머 레이어, 또는 엄밀함 추론 중 어떤 것이 성능에 가장 중요한가?

주요 결과

• Mudern은 OR-ShARC에서 최신 기준 성능을 달성하여 테스트 세트에서 매크로 F1 점수가 75.3%를 기록했으며, 단일패스 모델과 MP-RoBERTa 기준 모델을 모두 능가한다.
• 엄밀함 추론이 제거될 경우 모델의 매크로 정확도가 3.9% 감소하여, 이는 결정 과정에서 엄밀함 추론의 핵심적 역할을 확인한다.
• 논의 분할을 적용하면 매크로 정확도가 0.7% 향상되어, 다중 조건을 포함한 복잡한 규칙 문장을 분석하는 데서의 가치를 입증한다.
• 보이는 규칙 문서에서는 매크로 정확도가 88.1%로 높은 반면, 보이지 않는 규칙 문서에서는 66.4%로 낮아 일반화 과제가 뚜렷하게 드러난다.
• 제거 실험 결과, 인터-문장 트랜스포머 레이어가 테스트 매크로 정확도에 1.1% 기여함을 확인하여, 토큰 수준의 어텐션과의 보완성을 입증한다.
• '질문' 클래스에서 Mudern은 가장 높은 예측 정확도를 기록하여, 명확화 질문이 필요한 경우를 효과적으로 식별할 수 있음을 보여준다.