[논문 리뷰] INSCIT: Information-Seeking Conversations with Mixed-Initiative Interactions

Zeqiu Wu, Ryu Parish외 5명|arXiv (Cornell University)|2022. 07. 02.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 인간 간 정보 탐색 대화 805건으로 구성된 새로운 오픈 도메인 데이터셋인 INSCIT을 소개한다. 이 데이터셋은 혼합 주도성 대화를 특징으로 하며, 에이전트가 위키백과를 활용해 직접적인 답변(72%), 명확화(13%), 관련 부분 정보 제공(13%) 중 하나를 선택해 응답한다. 이 데이터셋은 증거 문장 식별 및 응답 생성이라는 두 가지 작업을 지원하며, 최신 모델과 인간 성능 간의 심각한 성능 격차를 드러내어 다중 문장 추론 및 비직접적 응답 전략 구현의 과제를 부각시킨다.

ABSTRACT

In an information-seeking conversation, a user may ask questions that are under-specified or unanswerable. An ideal agent would interact by initiating different response types according to the available knowledge sources. However, most current studies either fail to or artificially incorporate such agent-side initiative. This work presents InSCIt, a dataset for Information-Seeking Conversations with mixed-initiative Interactions. It contains 4.7K user-agent turns from 805 human-human conversations where the agent searches over Wikipedia and either directly answers, asks for clarification, or provides relevant information to address user queries. The data supports two subtasks, evidence passage identification and response generation, as well as a human evaluation protocol to assess model performance. We report results of two systems based on state-of-the-art models of conversational knowledge identification and open-domain question answering. Both systems significantly underperform humans, suggesting ample room for improvement in future studies.

연구 동기 및 목표

• 기존 데이터셋에서 실제적인 혼합 주도성 정보 탐색 대화의 부족을 해결하기 위해, 에이전트가 명확화, 부분 응답 또는 관련 정보를 통해 사용자를 이끌도록 주도적으로 행동하는 대화를 포함한다.
• 위키백과에서 다수의 증거 문장을 활용하는 경우, 모호한 정보나 부족한 질문을 처리할 수 있는 대화형 에이전트 연구를 지원한다.
• 모델 응답의 일관성, 사실적 일致성, 정보 포괄성 등을 평가하기 위한 인간 평가 프로토콜을 제공한다.
• 위키백과 기반 오픈 도메인 다턴 대화에서 최신 모델의 증거 문장 식별 및 응답 생성 성능을 벤치마킹한다.
• 직접적인 답변 생성을 초월해 다중 증거 문장 융합 및 전략적 응답 선택에서의 핵심 과제를 규명한다.

제안 방법

• 인간 작업자들이 위키백과를 기반으로 자연스럽고 개방적인 대화를 시뮬레이션하는 방식으로 확장 가능한 애너테이션 파이프라인을 통해 데이터셋을 수집하였다.
• 에이전트는 관련 증거 문장을 위키백과에서 검색하고, 직접적인 답변, 명확화, 또는 관련 부분 정보 제공 중 하나의 전략을 선택하였다.
• 핵심 두 가지 작업을 정의하였다: (1) 위키백과에서 증거 문장 식별, (2) 식별된 증거에 기반한 응답 생성.
• 다양한 응답 유형에서 일관성, 사실적 일致성, 포괄성 등을 평가하기 위해 다수의 애너테이터가 참여하는 인간 평가 프로토콜을 설계하였다.
• 강력한 두 가지 베이스라인을 구현하였다: 하나는 증거 문장 검색과 응답 생성을 분리한 DIALKI+FiD 시스템을 사용한 파이프라인 방식이며, 另一个是 통합 검색-생성 모델을 사용한 방식이다.
• 자동 평가에서는 BLEU 및 Rouge-F1 점수를 사용하였고, 인간 평가에서는 모델 출력을 평가하기 위한 구조화된 애너테이션 체계를 적용하였다.

실험 결과

연구 질문

• RQ1 최신 모델들은 오픈 도메인 다턴 정보 탐색 대화에서 관련 위키백과 문장을 어떻게 식별하는가?
• RQ2 증거가 다수의 문장에 걸쳐 있거나 비직접 전략이 필요한 경우, 모델은 얼마나 일관성 있고 사실적으로 일致하며 포괄적인 응답을 생성할 수 있는가?
• RQ3 명확화나 부분 응답과 같은 혼합 주도성 에이전트 행동이 포함된 경우, 직접 답변 전용 설정 대비 모델 성능에 어떤 영향을 미치는가?
• RQ4 모델가 모호하거나 부족한 질문 또는 다중 증거 질문을 처리할 때 나타나는 주요 실패 유형은 무엇인가?
• RQ5 복잡한 혼합 주도성 대화에서 인간 평가의 응답 품질을 예측하는 데 자동 평가 지표는 얼마나 효과적인가?

주요 결과

• 최고 성능 모델(DIALKI+FiD)은 오라클 증거 문장과 응답 유형이 제공된 경우 개발 세트에서 Rouge-F1 48.7점, 테스트 세트에서 47.4점의 성능을 기록하였다.
• 오라클 증거 문장과 응답 유형이 제공된 상태에서도 모델의 Rouge-F1(47.4점)은 인간 성능에 크게 못 미쳤으며, 향후 개선 여지가 크다는 것을 시사한다.
• 비직접 응답 전략(명확화 및 관련 부분 정보 제공)에서 성능 격차가 가장 크게 나타나, 전략적 응답 생성의 과제가 뚜렷하게 드러났다.
• 증거 문장 식별이 응답의 일관성에 중대한 영향을 미치며, 따라서 더 나은 응답 품질을 위해서는 증거 검색 향상이 필수적임을 시사한다.
• 다수의 증거 문장을 융합하면서도 사실적 일치성과 포괄성을 유지하는 것은 여전히 해결되지 않은 주요 과제이다.
• 결과적으로 현재 모델들은 개방형 다중 문장 추론에서 어려움을 겪고 있으며, 복잡한 정보 탐색 시나리오에서 적절한 에이전트 주도 전략을 채택하지 못하고 있음을 시사한다.