[논문 리뷰] Guided Transformer: Leveraging Multiple External Sources for Representation Learning in Conversational Search

Helia Hashemi, Hamed Zamani외 1명|arXiv (Cornell University)|2020. 06. 13.

Topic Modeling참고 문헌 51인용 수 7

한 줄 요약

이 논문은 대화형 검색에서 애매한 쿼리에서 사용자 정보 필요를 정확히 표현하는 데 어려움이 있는 상황을 해결하기 위해, 최상위로 검색된 문서와 후보로 제시된 명확화 질문과 같은 다수의 외부 자료를 주의 메커니즘에 통합하는 새로운 주의 메커니즘인 Guided Transformer(GT)를 제안한다. 모델은 Qulac 데이터셋에서 문서 검색에 대해 29퍼센트 이상의 상대적 MRR 향상을 달성하고, 최신 기준 모델들보다 다음 명확화 질문 선택 성능이 뛰어나, 애매한 쿼리에서 사용자 의도를 학습하는 데 다중 외부 지침의 효과를 입증한다.

ABSTRACT

Asking clarifying questions in response to ambiguous or faceted queries has been recognized as a useful technique for various information retrieval systems, especially conversational search systems with limited bandwidth interfaces. Analyzing and generating clarifying questions have been studied recently but the accurate utilization of user responses to clarifying questions has been relatively less explored. In this paper, we enrich the representations learned by Transformer networks using a novel attention mechanism from external information sources that weights each term in the conversation. We evaluate this Guided Transformer model in a conversational search scenario that includes clarifying questions. In our experiments, we use two separate external sources, including the top retrieved documents and a set of different possible clarifying questions for the query. We implement the proposed representation learning model for two downstream tasks in conversational search; document retrieval and next clarifying question selection. Our experiments use a public dataset for search clarification and demonstrate significant improvements compared to competitive baselines.

연구 동기 및 목표

• 쿼리가 애매하거나 다면적인 경우 대화형 검색에서 사용자 정보 필요를 정확히 표현하는 데 도전 과제를 해결하기 위해.
• 최상위로 검색된 문서와 후보로 제시된 명확화 질문과 같은 외부 정보 자료를 활용하여 문서 검색 및 다음 명확화 질문 선택 성능을 향상시키기 위해.
• 주요 작업과 보조적인 의도 분류 작업을 동시에 최적화하는 다중 작업 학습 프레임워크를 개발하여 표현 학습을 향상시키기 위해.
• 사용자 응답과 외부 맥락을 활용하여 대화형 검색 시스템에서 보다 효과적인 명확화를 가능하게 하기 위해.
• 클릭스루 데이터, 쿼리 로그, 지식 기반 등 다양한 외부 자료를 신경망 아키텍처에 통합하여 대화형 정보 검색 성능을 향상시키는 것을 탐색하기 위해.

제안 방법

• 표준 Transformer 아키텍처에 외부 자료에서 온 정보를 사용해 대화의 용어에 동적으로 가중치를 부여하는 새로운 다중 자료 주의 메커니즘을 도입한다.
• 두 가지 외부 자료를 통합한다: 최상위로 검색된 문서(가짜 관련성 피드백 시뮬레이션)와 쿼리에 대한 후보로 제시된 명확화 질문 풀.
• 기본 텍스트 인코더로 BERT를 사용하며, 다중 작업 학습을 위해 입력에 작업 임베딩 벡터를 추가한다.
• 다중 작업 학습 목표를 적용한다: 주요 작업(문서 검색 또는 다음 명확화 질문 선택)과 대안 목록에서 정확한 쿼리 의도를 식별하는 보조 작업.
• 주요 작업과 보조 작업을 동시에 최적화하는 복합 손실 함수를 사용해 엔드 투 엔드 모델을 훈련시킨다.
• 두 가지 최종 작업에 적용한다: (1) 대화에 대한 문서 관련성 점수 매기기, (2) 검색 품질 향상을 위한 다음 명확화 질문 선택하기.

실험 결과

연구 질문

• RQ1 Transformer 모델의 주의 메커니즘에 다수의 외부 정보 자료를 통합함으로써 대화형 검색을 위한 표현 학습이 향상되는가?
• RQ2 최상위로 검색된 문서와 후보로 제시된 명확화 질문을 외부 신호로 사용할 경우 문서 검색 및 다음 명확화 질문 선택 성능에 어떤 영향을 미치는가?
• RQ3 보조적인 의도 분류 헤드를 포함한 다중 작업 학습이, 애매한 쿼리에서 사용자 정보 필요를 이해하는 능력을 향상시키는가?
• RQ4 외부 자료는 '예' 또는 '아니요'와 같은 최소한의 사용자 피드백에서 학습하는 데 있어 얼마나 효과적으로 도움이 되는가?
• RQ5 제안된 Guided Transformer는 명확화 질문 선택의 오프라인 평가에서 BERT-NeuQS와 LambdaMART와 같은 최신 기준 모델들과 비교해 어떻게 성능을 냅니다?

주요 결과

• 제안된 Guided Transformer 모델은 BERT-NeuQS와 같은 경쟁 기준 모델들보다 문서 검색 과제에서 평균 역수 순위(MRR)에 대해 29퍼센트 이상의 상대적 향상을 달성한다.
• 다중 작업 학습 설정은 단일 작업 학습보다 일관되게 뛰어나, 보조적인 의도 분류 작업이 표현 학습을 향상시킨다는 것을 시사한다.
• LambdaMART와 RankNet과 같은 강력한 기준 모델들보다 다음 명확화 질문 선택에서 뚜렷한 성능 향상을 보이며, 외부 자료 통합의 가치를 입증한다.
• 사례 연구 결과, GT는 사용자 응답이 최소한일 경우(예: '아니요')에도 외부 자료를 효과적으로 활용해 표현을 향상시키는 것으로 나타났고, BERT는 이러한 상황에서 어려움을 겪는다.
• 제안된 모델과 오라클 상한선 사이의 성능 격차는 명확화 질문 선택 분야에서 향후 개선 여지를 여전히 많이 남겨두고 있음을 시사한다.
• 검색된 문서와 후보 질문과 같은 외부 자료를 사용할 수 있는 모델의 능력은, 특히 낮은 문장 수 또는 부정적 피드백 상황에서 쿼리 의도의 모호함을 더 잘 제거할 수 있음을 보여준다.