[논문 리뷰] BISON: BM25-weighted Self-Attention Framework for Multi-Fields Document Search.

Xuan Shan, Chuanjie Liu외 5명|arXiv (Cornell University)|2020. 07. 10.

Topic Modeling참고 문헌 35인용 수 2

한 줄 요약

BISON은 다중 분야 웹 문서 검색을 위한 자기주의 메커니즘에 어휘 사전 지식을 통합하는 BM25 가중 자기주의 프레임워크를 제안한다. BM25 점수를 학습 가능한 주의 가중치로 사용하고 전체 단어 가중치 공유를 적용함으로써 BERT 및 동등한 모델 복잡도를 가진 다른 모델보다 더 나은 의미 표현 학습 성능을 달성한다.

ABSTRACT

Recent breakthrough in natural language processing has advanced the information retrieval from keyword match to semantic vector search. To map query and documents into semantic vectors, self-attention models are being widely used. However, typical self-attention models, like Transformer, lack prior knowledge to distinguish the importance of different tokens, which has been proved to play a critical role in information retrieval tasks. In addition to this, when applying WordPiece tokenization, a rare word may be split into several different tokens. How to translate word-level prior knowledge into WordPiece tokens becomes a new challenge for the semantic representation generation. Moreover, web documents usually have multiple fields. Due to the heterogeneity of different fields, simple combination is not a good choice. In this paper, We propose a novel BM25-weighted Self-Attention framework (BISON) for web document search. By leveraging BM25 as prior weights, BISON learns weighted attention scores jointly with query matrix Q and key matrix K. We also present an efficient whole word weight sharing solution to mitigate prior knowledge discrepancy between words and WordPiece tokens. Furthermore, BISON effectively combines multiple fields by placing different fields into different segments. We demonstrate BISON is more efficient to capture the topical and semantic representation both in query and document. Intrinsic evaluation and experiments conducted on public data sets reveal BISON to be a general framework for document ranking task. It outperforms BERT and other modern models while retaining the same model complexity with BERT.

연구 동기 및 목표

• 표준 자기주의 모델에서의 사전 지식 부족으로 인해 정보 검색에서 토큰 중요도를 구분하지 못하는 문제를 해결하기 위해.
• 의미 표현 학습에서 단어 수준의 사전 지식과 서브워드 수준의 토크나이제이션(예: WordPiece) 간의 괴리 문제를 해결하기 위해.
• 간단한 연결 방식 없이 이질적인 문서 필드(예: 제목, 본문)를 효과적으로 통합하여 필드별 의미를 유지하기 위해.
• 모델 효율성을 유지하면서 질의 및 문서의 의미적 및 주제적 표현을 향상시키는 프레임워크를 개발하기 위해.

제안 방법

• 질의-키 상호작용 계산 중에 BM25 점수를 학습 가능한 주의 가중치로 사용하여 BM25 가중 자기주의를 도입한다.
• WordPiece 토크나이제이션으로 생성된 서브워드 토큰에 단어 수준의 사전 지식을 전달하기 위해 전체 단어 가중치 공유 메커니즘을 제안한다.
• 다른 문서 필드(예: 제목, 콘텐츠)를 별도의 주의 세그먼트로 분할하여 필드별 표현을 모델링한다.
• BM25 사전 지식을 통합하여 주의 가중치와 질의/키 행렬을 동시에 학습함으로써 종단 간 훈련을 가능하게 하여 관련성 모델링 성능을 향상시킨다.
• 필드 경계를 유지하고 필드 인식 표현 학습을 가능하게 하는 다중 분야 주의 메커니즘을 사용한다.
• 모델 복잡도를 BERT 수준으로 유지하면서 어휘 사전 지식과 서브워드 인식 가중치를 통합한다.

실험 결과

연구 질문

• RQ1 BM25를 사전 가중치 메커니즘으로 통합하면 자기주의 모델의 문서 검색 작업 성능이 향상되는가?
• RQ2 WordPiece 토크나이제이션으로 생성된 서브워드 토큰에 단어 수준의 사전 지식을 효과적으로 전달할 수 있는가?
• RQ3 필드별 세그먼테이션은 다중 분야 문서 표현 및 랭킹 성능에 어떤 영향을 미치는가?
• RQ4 경량이며 BERT 수준의 모델은 어휘 사전 지식과 구조화된 필드 모델링을 통합함으로써 우수한 성능을 달성할 수 있는가?

주요 결과

• BISON은 동등한 모델 복잡도를 유지하면서 공개 문서 랭킹 데이터셋에서 BERT 및 기타 현대 모델을 능가한다.
• BM25를 학습 가능한 주의 가중치로 통합함으로써 모델이 주제적 및 의미적 관련성을 더 잘 포착할 수 있는 능력이 크게 향상된다.
• 전체 단어 가중치 공유 메커니즘이 단어와 그 서브워드 구성 요소 간의 사전 지식 괴리를 효과적으로 줄인다.
• 필드별 세그먼테이션은 문서 필드의 의미 이질성을 유지함으로써 더 나은 표현 학습을 이끈다.
• 내재 평가 및 최종 응용 실험을 통해 BISON이 일반적인 문서 랭킹 프레임워크로서의 효과성을 확인한다.
• 파rameter 수나 추론 비용을 증가시키지 않으면서도 벤치마크 데이터셋에서 최고 성능을 달성한다.