[논문 리뷰] TREC CAsT 2019: The Conversational Assistance Track Overview

Jeff Dalton, Chenyan Xiong외 1명|arXiv (Cornell University)|2020. 03. 30.

Topic Modeling참고 문헌 8인용 수 30

한 줄 요약

본 논문은 TREC Conversational Assistance Track(CAsT 2019) 1년차의 작업 정의, 데이터 구성, 평가 방법론, 참여 시스템 및 결과를 개요로 제시한다. 또한 데이터세트, 주제, 통과 모음(passage collections), 그리고 대화형 정보 탐색에 사용된 대규모 베이스라인 및 신경 기반 재정렬 방법들을 제시한다.

ABSTRACT

The Conversational Assistance Track (CAsT) is a new track for TREC 2019 to facilitate Conversational Information Seeking (CIS) research and to create a large-scale reusable test collection for conversational search systems. The document corpus is 38,426,252 passages from the TREC Complex Answer Retrieval (CAR) and Microsoft MAchine Reading COmprehension (MARCO) datasets. Eighty information seeking dialogues (30 train, 50 test) are an average of 9 to 10 questions long. Relevance assessments are provided for 30 training topics and 20 test topics. This year 21 groups submitted a total of 65 runs using varying methods for conversational query understanding and ranking. Methods include traditional retrieval based methods, feature based learning-to-rank, neural models, and knowledge enhanced methods. A common theme through the runs is the use of BERT-based neural reranking methods. Leading methods also employed document expansion, conversational query expansion, and generative language models for conversational query rewriting (GPT-2). The results show a gap between automatic systems and those using the manually resolved utterances, with a 35% relative improvement of manual rewrites over the best automatic system.

연구 동기 및 목표

• 첫 번째 CAsT 해에 대한 대화형 검색 작업과 컨텍스트 요구사항을 정의한다.
• 재현 가능한 CIS 연구를 가능하게 하는 재사용 가능한 주제, 패시지, 평가 리소스를 만든다.
• 대화형 패시지 검색 평가를 위한 베이스라인 도구와 데이터 혼합(MS MARCO, CAR, WaPo)을 제공한다.
• 참여 시스템의 효과를 평가하고 턴 깊이의 영향을 분석하여 2년차를 안내한다.

제안 방법

• 대화형 검색을 다중 턴 대화 맥락에서 짧은 패시지(1-3문장)를 선택하는 것으로 정의한다.
• 실제 대화를 시뮬레이션하기 위해 각 10턴으로 30개의 학습 주제와 50개의 평가 주제를 구성한다.
• 중복 제거 규칙을 적용하여 MS MARCO, TREC CAR(Wikipedia), WaPo의 패시지 모음을 수집한다.
• 맥락 풍부한 학습을 위해 학습 데이터, 발화의 수동 재작성, MS MARCO Conversational Search Sessions 확장을 제공한다.
• 주제 로딩, Indri 기반 검색, 배치 및 대화형 검색 지원을 위한 소프트웨어 도구를 공개한다.

실험 결과

연구 질문

• RQ1 대화 맥락이 각 턴에서 검색된 패시지의 관련성에 어떤 영향을 미치는가?
• RQ2 대화 맥락에서 턴 깊이가 검색 효과에 미치는 영향은 무엇인가?
• RQ3 어떤 방법들(검색, 재정렬, 질의 이해)이 맥락을 가장 잘 활용하여 최상위 패시지의 품질을 향상시키는가?
• RQ4 평가에서 수동(해결된) 발화와 자동(해결되지 않은) 발화는 어떻게 비교되는가?
• RQ5 자동 및 수동 평가 시나리오에서 신경망 재정렬(BERT 등)을 사용하는 영향은 무엇인가?

주요 결과

• 자동 실험은 시스템 간에 큰 차이를 보이며, 최고 성능의 실행은 주로 BERT 기반 재정렬을 활용한다.
• 수동 실행은 평균적으로 자동 실행보다 NDCG@3이 더 높아 해결된 명확한 턴의 이점을 보여준다.
• 최상위 자동 실행은 종종 맥락 기반 질의 재작성/확장과 신경 재정렬을 결합하며, 최고 수동 실행 역시 BERT 기반 재정렬에 의존한다.
• 자동 실행에서 턴 깊이가 늘어날수록 NDCG@3이 감소하여 턴 간 맥락 이해 유지의 어려움을 시사한다; 수동 실행은 감소가 작고 수동과 자동 간 성능 격차가 커진다.
• 풀링 및 평가 설계는 자원 제약에 직면했지만, 저자들은 벤치마크를 Year 2 설계에 재사용 가능하고 유익하다고 판단했다.