[논문 리뷰] Context-Aware Sentence/Passage Term Importance Estimation For First Stage Retrieval

Zhuyun Dai, Jamie Callan|arXiv (Cornell University)|2019. 10. 23.

Topic Modeling참고 문헌 33인용 수 117

한 줄 요약

본 논문은 BERT 기반 맥락화 표현을 활용하여 문장/구절에 맥락 인식 용어 가중치를 부여하는 프레임워크인 DeepCT를 소개하며, 오프라인 인덱싱(DeepCT-Index) 및 질의 가중화(DeepCT-Query)를 통한 효과적인 1차 검색을 가능하게 한다.

ABSTRACT

Term frequency is a common method for identifying the importance of a term in a query or document. But it is a weak signal, especially when the frequency distribution is flat, such as in long queries or short documents where the text is of sentence/passage-length. This paper proposes a Deep Contextualized Term Weighting framework that learns to map BERT's contextualized text representations to context-aware term weights for sentences and passages. When applied to passages, DeepCT-Index produces term weights that can be stored in an ordinary inverted index for passage retrieval. When applied to query text, DeepCT-Query generates a weighted bag-of-words query. Both types of term weight can be used directly by typical first-stage retrieval algorithms. This is novel because most deep neural network based ranking models have higher computational costs, and thus are restricted to later-stage rankers. Experiments on four datasets demonstrate that DeepCT's deep contextualized text understanding greatly improves the accuracy of first-stage retrieval algorithms.

연구 동기 및 목표

• 문장 및 구절 길이의 텍스트에서 빈도 기반 용어 가중치의 한계를 제시한다.
• BERT 임베딩을 용어 가중치로 매핑하는 심층 맥락화 용어 가중 프레임워크를 제안한다.
• 맥락 인식 가중치를 오프라인 구절 인덱싱(DeepCT-Index)과 긴 질의 가중화(DeepCT-Query)에 활용하는 방법을 제시한다.
• MS MARCO 및 TREC-CAR 데이터셋에서 1차 검색 정확도 향상을 입증한다.

제안 방법

• 텍스트 구절 및 질의에 대해 BERT를 사용하여 맥락화된 토큰 임베딩을 생성한다.
• 맥락화된 특징을 비 음수 용어 가중치로 매핑하기 위해 BERT 임베딩 위에 선형 회귀층을 학습하고, 평균 제곱 오차 손실을 통해 학습한다.
• 구절의 경우 질의-용어 재현(targets)을 사용하여 TF-DeepCT 가중치를 만들고 표준 역인덱스(DeepCT-Index)에 오프라인으로 인덱싱한다.
• 질의의 경우 관련 문서로부터 용어 재현을 학습하여 가중된 단어 집합(BOW)이나 가중된 SDM 질의를 생성한다(DeepCT-Query).
• BM25 및 QL 1차 검색에서 tf, TextRank, Doc2Query 기반선과의 비교를 수행하고, 재정렬은 Conv-KNRM 및 BERT 재랭커로 수행한다.

실험 결과

연구 질문

• RQ1 맥락화 표현에서 얻은 맥락 인식 용어 가중이 구절과 긴 질의의 1차 검색을 개선할 수 있는가?
• RQ2 표준 가방-오브-단어 모델인 BM25 및 QL을 사용한 DeepCT-Index의 오프라인 인덱싱 및 검색 성능은 어떠한가?
• RQ3 DeepCT-Query가 긴 질의를 효과적으로 재가중하여 초기 검색을 개선하는가?
• RQ4 맥락화 임베딩(BERT)과 비맥락 임베딩(W/E)을 사용할 때 용어 가중 성능에 미치는 영향은 무엇인가?
• RQ5 DeepCT-Index가 하류 재랭킹의 효율성 및 효과성에 어떤 영향을 미치는가?

주요 결과

• DeepCT-Index는 MS MARCO와 TREC-CAR에서 BM25 및 QL에 대해 tf, TextRank, Doc2Query 대비 상당한 향상을 준다.
• 맥락화 임베딩(BERT)은 구절 용어 가중치를 효과적으로 생성하는 데 있어 ELMo와 비맥락적 word2vec보다 우수하다.
• 1차 DeepCT-Index BM25는 효율성을 유지하면서 일부 다단계 및 신경망 재랭킹 기반선보다 우수할 수 있다.
• 롱 질의를 가중하기 위한 DeepCT-Query의 사용은 BM25 또는 QL과 통합될 때 가중된 BOW 또는 SDM 구성을 통해 검색 성능을 향상시킨다.
• 1차 단계의 개선은 재랭커의 재현율 향상으로 이어지며 후속 재랭킹의 필요한 깊이를 줄일 수 있다.