[논문 리뷰] TopiOCQA: Open-domain Conversational Question Answeringwith Topic Switching.

Vaibhav Adlakha, Shehzaad Dhuliawala외 3명|arXiv (Cornell University)|2021. 10. 02.

Topic Modeling참고 문헌 31인용 수 4

한 줄 요약

TopiOCQA는 위키백과에서 유래한 주제 전환을 수반하는 도메인 외부 대화형 질의응답 데이터셋으로, 자유형 답변을 포함한 3,920개의 다중턴 대화를 수록하고 있다. 이는 동적 주제 변화 하에서 검색 및 응답 생성을 평가하며, F1 점수 51.9와 BLEU 점수 42.1을 기록했으며, 인간 성능에 비해 크게 떨어져 있어 데이터셋의 과제성과 연구적 가치를 드러낸다.

ABSTRACT

In a conversational question answering scenario, a questioner seeks to extract information about a topic through a series of interdependent questions and answers. As the conversation progresses, they may switch to related topics, a phenomenon commonly observed in information-seeking search sessions. However, current datasets for conversational question answering are limiting in two ways: 1) they do not contain topic switches; and 2) they assume the reference text for the conversation is given, i.e., the setting is not open-domain. We introduce TopiOCQA (pronounced Tapioca), an open-domain conversational dataset with topic switches on Wikipedia. TopiOCQA contains 3,920 conversations with information-seeking questions and free-form answers. TopiOCQA poses a challenging test-bed for models, where efficient retrieval is required on multiple turns of the same conversation, in conjunction with constructing valid responses using conversational history. We evaluate several baselines, by combining state-of-the-art document retrieval methods with neural reader models. Our best models achieves F1 of 51.9, and BLEU score of 42.1 which falls short of human performance by 18.3 points and 17.6 points respectively, indicating the difficulty of our dataset. Our dataset and code will be available at https://mcgill-nlp.github.io/topiocqa

연구 동기 및 목표

• 실제 정보 탐색 세션에서 흔한 주제 전환을 포함하지 않은 도메인 외부 대화형 QA 데이터셋의 부족을 보완하기 위해.
• 참고 문서가 사전에 제공되지 않는 현실적인 벤치마크를 제공하여, 다중턴 동안 동적으로 검색이 이루어지는 대화형 QA를 평가하기 위해.
• 주제 전환 상황에서 대화의 일관성을 유지하면서 검색 증강 모델의 효과성을 평가하기 위해.
• 현재 모델의 한계를 드러내고 복잡하고 변화하는 대화적 맥락에서 추론 및 검색 능력의 격차를 드러내는 자원을 제공하기 위해.

제안 방법

• 위키백과 기사에서 3,920개의 다중턴 대화를 구성하여 정보 탐색 상호작용 중 자연스러운 주제 전환을 시뮬레이션한다.
• 정보 탐색 질문과 자유형 답변을 포함하여 다양한 실질적인 대화 패턴을 확보한다.
• 대화의 진전에 따라 매 턴마다 동적으로 관련 위키백과 문단을 검색함으로써 도메인 외부 검색을 구현한다.
• 최신 신경 독해 모델과 검색 방법을 결합하여 검색된 문서에 기반한 답변을 생성한다.
• 이전 대화의 맥락과 검색된 증거가 함께 응답 생성에 영향을 주는 검색 증강 생성 프레임워크를 구현한다.
• 다중턴 평가 프로토콜을 적용하여, 모델이 전체 대화 맥락을 사전에 확보하지 못한 상태에서도 주제 전환 간의 일관성과 정확성을 유지를 해야 한다.

실험 결과

연구 질문

• RQ1 사전에 지정된 참고 문서 없이, 검색 증강 모델이 도메인 외부 대화형 QA에서 주제 전환을 어떻게 다룰 수 있는가?
• RQ2 주제가 다중턴에 걸쳐 변화함에 따라 현재 신경 독해 모델이 답변 품질과 일관성을 얼마나 유지하는가?
• RQ3 정적 주제 설정 대비 주제 전환 상황에서 검색 증강 모델의 성능은 어떻게 저하되거나 향상되는가?
• RQ4 도메인 외부, 주제 전환을 수반하는 대화형 QA에서 인간 성능과 모델 성능 간의 격은 얼마인가?

주요 결과

• 최고의 성능을 보인 모델은 TopiOCQA 벤치마크에서 F1 점수 51.9와 BLEU 점수 42.1을 기록했다.
• 최고의 모델과 인간 성능 간의 격차는 F1 기준 18.3점, BLEU 기준 17.6점으로, 향후 개선 여지가 크다는 것을 시사한다.
• 주제 전환이 심각한 과제를 야기하며, 모델들이 변화하는 주제 간의 일관성과 관련성을 유지하는 데 어려움을 겪는다.
• 주제 전환이 발생할 경우 검색 효율성이 저하되어, 모델들이 새로운 정보 소스에 다시 동적으로 접근해야 한다.
• 현재의 검색 증강 모델은 주제 전환에 대해 강건하지 않으며, 장기적 의존성과 맥락의 진화를 모델링하는 데 한계가 있음을 시사한다.
• 이 데이터셋은 심지어 최신 기술 모델조차도 도메인 외부, 다중턴, 주제 전환 상황에서 일반화 능력을 충분히 발휘하지 못한다는 점을 드러낸다.