[논문 리뷰] Interpretation of Natural Language Rules in Conversational Machine Reading

Marzieh Saeidi, Max Bartolo외 6명|arXiv (Cornell University)|2018. 08. 28.

Topic Modeling참고 문헌 30인용 수 4

한 줄 요약

이 논문은 대화형 기계적 독해(CMR)를 소개한다. 이는 자연어 규칙을 해석하고 배경 지식을 적용하여 '내가 할 수 있나요?', '내가 해야 합니까?'와 같은 질문에 대화를 통해 답해야 하는 작업이다. 가상 사용자를 활용한 새로운 커뮤니티 기반 프로토콜을 통해 32,000건의 인스턴스 데이터셋을 수집하였으며, 배경 지식이 없이 모델이 잘 수행하는 것을 확인했지만, 배경 지식이 필요한 경우에 큰 향상이 필요함을 보여주며, 실제 QA 환경에서 규칙 해석의 어려움을 드러낸다.

ABSTRACT

Most work in machine reading focuses on question answering problems where the answer is directly expressed in the text to read. However, many real-world question answering problems require the reading of text not because it contains the literal answer, but because it contains a recipe to derive an answer together with the reader's background knowledge. One example is the task of interpreting regulations to answer "Can I...?" or "Do I have to...?" questions such as "I am working in Canada. Do I have to carry on paying UK National Insurance?" after reading a UK government website about this topic. This task requires both the interpretation of rules and the application of background knowledge. It is further complicated due to the fact that, in practice, most questions are underspecified, and a human assistant will regularly have to ask clarification questions such as "How long have you been working abroad?" when the answer cannot be directly derived from the question and text. In this paper, we formalise this task and develop a crowd-sourcing strategy to collect 32k task instances based on real-world rules and crowd-generated questions and scenarios. We analyse the challenges of this task and assess its difficulty by evaluating the performance of rule-based and machine-learning baselines. We observe promising results when no background knowledge is necessary, and substantial room for improvement whenever background knowledge is needed.

연구 동기 및 목표

• 시스템이 자연어 규칙을 해석하고 배경 지식을 적용하여 '내가 할 수 있나요?', '내가 해야 합니까?'와 같은 복잡한 질문에 대화 형식으로 답할 수 있도록 새로운 작업인 대화형 기계적 독해(CMR)를 정의한다.
• 질문이 모호할 경우를 다루기 위해 확인 질문과 답변을 포함한 대화를 모델링한다.
• 가상 사용자를 활용한 확장 가능하고 제어 가능한 커뮤니티 기반 프로토콜을 개발하여 실제 규정 기반의 다양한 대화를 생성한다.
• 실제 영국 정부 규정 기반으로 32,000건의 작업 인스턴스를 포함한 대규모 실생활 데이터셋을 구축한다.
• 기준 모델을 평가하고 배경 지식이 필요한 경우 성능이 크게 떨어짐을 입증함으로써未기반 지식이 필요한 경우의 주요 과제를 규명한다.

제안 방법

• 가상 사용자가 사전 정의된 답변을 사용해 후속 질문에 대답하는 방식으로, 공동 작업자가 대화를 함께 구축할 수 있는 대화 기반 애너테이션 인터페이스를 설계한다.
• 가상 사용자 응답을 제어하여 '예'와 '아니요' 답변의 비율과 대화 기록의 내용을 조절함으로써 균형 잡히고 다양한 데이터 수집을 보장한다.
• 실제 규정 문서(예: 영국 국민보험 규정)에서 유래한 32,000건의 작업 인스턴스를 수집하였으며, 각 인스턴스는 초반 질문, 시나리오, 규칙 요약, 대화 기록, 최종 답변 또는 후속 질문을 포함한다.
• 문맥, 기록, 질문 입력을 인코딩하는 시퀀스-투-시퀀스(seq2seq) 신경망 모델을 복사 메커니즘을 사용하거나 사용하지 않아서 답변 또는 확인 질문을 생성한다.
• macro 정확도, BLEU-1, BLEU-4, 및 맞춤형 평가 지표(CM)를 사용하여 성능 평가 지표로 모델을 훈련하고 평가한다.
• CMR 지원 QA와 수동 규정 읽기 간의 사용자 연구를 수행하여 의사결정 속도와 정확도를 측정한다.

실험 결과

연구 질문

• RQ1 모델은 규정 문서의 자연어 규칙을 이해하고 대화 형식에서 '내가 할 수 있나요?', '내가 해야 합니까?'와 같은 복잡한 질문에 효과적으로 답할 수 있는가?
• RQ2 배경 지식의 포함 여부가 규칙 기반 질문 응답에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 통제된 가상 사용자 기반 애너테이션 프로토콜이 CMR에 적합한 고품질, 다양한, 균형 잡힌 대화 데이터를 얼마나 잘 생성할 수 있는가?
• RQ4 복사 메커니즘을 사용하거나 사용하지 않는 신경 시퀀스-투-시퀀스 모델은 CMR 작업에서 어떻게 성능을 내는가, 특히 확인 질문 생성에 있어서는?
• RQ5 수동 규정 읽기와 비교해 대화형 에이전트를 사용할 경우 사용자의 질문 해결 속도와 정확도가 어떻게 향상되는가?

주요 결과

• 배경 지식이 필요한 경우 CMR 작업이 훨씬 더 어렵다는 점이 입증되었으며, 이는 배경 지식이 없을 때 61.9%의 매크로 정확도에서 배경 지식이 필요한 경우 44.8%로 성능이 떨어짐으로써 확인되었다.
• 사용자 연구 결과, 대화형 에이전트를 사용한 참가자는 수동 규정 읽기 대비 정확도 93%로 두 배 빠른 속도(2배 빠름)로 정확한 결론에 도달했다.
• 세 명의 애너테이터 간의 상당한 일致도(Fleiss’ Kappa = 0.71)를 달성하여 제어된 가상 사용자를 활용한 데이터 수집의 신뢰성을 입증했다.
• 복사 메커니즘을 사용하는 모델가 그렇지 않은 모델보다 성능이 뛰어나, 규칙 텍스트에서 핵심 용어를 복사하는 것이 답변 생성과 유창성 향상에 기여함을 시사한다.
• 가장 뛰어난 성능을 보인 모델(CM)은 배경 지식이 필요 없는 경우 매크로 정확도 0.619, BLEU-1 0.689를 기록하여 유망하지만 아직 완벽하지 않은 성능을 보였다.
• 결과는 현재 모델의 심각한 격차를 드러내며, 규칙에 대한 추론과 외부 지식 통합에서 향상 여지가 크며, 향후 연구를 위해 더 나은 함의 추론 및 질문 생성 메커니즘의 필요성을 시사한다.