[논문 리뷰] Deep Reinforced Query Reformulation for Information Retrieval

Xiao Wang, Craig Macdonald외 1명|arXiv (Cornell University)|2020. 07. 15.

Web Data Mining and Analysis참고 문헌 43인용 수 12

한 줄 요약

이 논문은 정보 검색에서 어휘 불일치 문제를 해결하기 위해 질의 어휘 재구성(Paraphrase)을 생성하는 강화학습 기반의 seq2seq 모델인 Deep Reinforced Query Reformulation (DRQR)을 제안한다. 질의 성능 예측을 보상 함수에 통합함으로써, DRQR는 검색 성능을 햖थ하는 재구성 결과를 도출하며, TREC 2020 Deep Learning track 데이터셋에서 기준 모델을 능가하고, BM25, 질의 확장, BERT 랭킹 모델과 조합했을 때 성능 향상을 보인다.

ABSTRACT

Query reformulations have long been a key mechanism to alleviate the vocabulary-mismatch problem in information retrieval, for example by expanding the queries with related query terms or by generating paraphrases of the queries. In this work, we propose a deep reinforced query reformulation (DRQR) model to automatically generate new reformulations of the query. To encourage the model to generate queries which can achieve high performance when performing the retrieval task, we incorporate query performance prediction into our reward function. In addition, to evaluate the quality of the reformulated query in the context of information retrieval, we first train our DRQR model, then apply the retrieval ranking model on the obtained reformulated query. Experiments are conducted on the TREC 2020 Deep Learning track MSMARCO document ranking dataset. Our results show that our proposed model outperforms several query reformulation model baselines when performing retrieval task. In addition, improvements are also observed when combining with various retrieval models, such as query expansion and BERT.

연구 동기 및 목표

• 정보 검색에서 어휘 불일치 문제를 자동으로 해결하기 위해 효과적인 질의 재구성어를 생성하는 것.
• 질의 성능 예측을 강화학습 보상 함수에 통합하여 텍스트 생성 학습 목표와 실제 검색 성능 간의 일치도를 향상시키는 것.
• DRQR가 기존의 정보 검색 모델(BM25, 질의 확장, BERT 등)과 조합되었을 때 검색 성능 향상 여부를 평가하는 것.
• 보상 무게 조정 하이퍼파라미터와 질의 성능 예측기의 역할이 학습 과정을 어떻게 이끄는지 조사하는 것.

제안 방법

• DRQR는 어텐션과 복사 메커니즘을 갖춘 시퀀스-투-시퀀스 모델을 사용하여 입력 질의에서 질의 재구성어를 생성한다.
• 모델은 정책 네트워크가 재구성어를 생성하고 보상 함수가 학습을 이끄는 딥 강화학습 기반으로 구성된다.
• 보상 함수는 질의 성능 예측기(QPP)를 통한 검색 성능 예측과 표준 시퀀스 생성 손실을 하이퍼파라미터 λ를 통해 조합한다.
• AvgSCQ와 같은 질의 성능 예측기(QPP)는 검색 수행 이전에 재구성된 질의의 예상 검색 성능을 추정하는 데 사용된다.
• 모델은 TREC 2020 Deep Learning track의 MSMARCO 데이터셋에서 엔드 투 엔드로 훈련되며, 검증 세트를 활용해 θ 및 λ와 같은 하이퍼파라미터를 튜닝한다.
• 평가 방법으로는 원본 질의와 재구성된 질의에 대해 검색 모델(DPH, DPH+QE, DPH+BERT 등)을 적용하여 성능을 측정한다.

실험 결과

연구 질문

• RQ1 RQ1: 표준 seq2seq 기준 모델 대비 딥 강화학습 모델이 검색 성능 향상에 기여하는 질의 재구성어를 생성할 수 있는가?
• RQ2 RQ2: 보상 함수에 질의 성능 예측을 통합하면 표준 RL 또는 seq2seq 모델 대비 더 효과적인 재구성어를 도출할 수 있는가?
• RQ3 RQ3: DRQR는 질의 확장(QE) 또는 BERT 재랭킹과 같은 기존 검색 향상 기법과 조합되었을 때 성능 향상에 효과적으로 기여하는가?
• RQ4 RQ4: 보상 무게 조정 하이퍼파라미터 λ가 다양한 검색 모델에서 DRQR의 성능에 미치는 영향은 어떠한가?

주요 결과

• DRQR는 원본 질의(q0) 대비 3개의 검색 설정 중 3개에서 NDCG@10을 향상시키고, 3개 중 2개에서 MAP를 향상시켜 일관되지만 약간의 성능 향상을 보였다.
• DPH+QE 조합에서 DRQR는 NDCG@10 0.6017을 기록하여 기준 모델인 DPH+QE(0.6008)보다 略로 높은 성능을 보였다.
• DPH+BERT 설정에서는 DRQR가 NDCG@10을 0.5722에서 0.5773으로 끌어올려 원본 질의 대비 유의미한 성능 향상을 보였다.
• 최적의 보상 무게 조정 하이퍼파라미터 λ는 0.3 또는 0.5로, 이 값들이 모든 검색 모델에서 NDCG@10을 최대화하는 데 기여했다.
• 테스트 쿼리 43개 중 35개만이 DRQR에 의해 재구성되었으며, 이는 QPP 구성 요소의 영향을 받은 보수적인 정책을 반영한다.
• 모델이 생성한 재구성어 대부분이 'what is'로 시작하는 경향이 있었는데, 이는 텍스트 생성 과정에서 사전 학습된 임베딩 부족으로 인해 질문형 n-gram에 대한 편향이 존재했음을 시사한다.