[논문 리뷰] Conformer-Kernel with Query Term Independence for Document Retrieval

Bhaskar Mitra, Sebastian Hofstätter외 2명|arXiv (Cornell University)|2020. 07. 20.

Topic Modeling참고 문헌 60인용 수 17

한 줄 요약

이 논문은 메모리 효율적인 신경 순서 매기기 모델인 쿼리 텀 독립성(CK-with-QTI)을 제안한다. 이는 전체 검색을 위한 트랜스포머-커널(TK) 아키텍처를 확장한 것으로, 자기주의성(self-attention)을 선형 복잡도를 가지는 컨포머 레이어로 대체하고 명시적 텀 매칭을 통합함으로써 TREC 2019에서 경쟁력 있는 성능을 달성하면서도 GPU 메모리 사용을 줄였다. 이는 대규모 문서 컬렉션으로부터 직접 검색을 가능하게 한다.

ABSTRACT

The Transformer-Kernel (TK) model has demonstrated strong reranking performance on the TREC Deep Learning benchmark---and can be considered to be an efficient (but slightly less effective) alternative to BERT-based ranking models. In this work, we extend the TK architecture to the full retrieval setting by incorporating the query term independence assumption. Furthermore, to reduce the memory complexity of the Transformer layers with respect to the input sequence length, we propose a new Conformer layer. We show that the Conformer's GPU memory requirement scales linearly with input sequence length, making it a more viable option when ranking long documents. Finally, we demonstrate that incorporating explicit term matching signal into the model can be particularly useful in the full retrieval setting. We present preliminary results from our work in this paper.

연구 동기 및 목표

• 장문의 문서 검색에서 트랜스포머 자기주의성의 제곱형 메모리 복잡도를 해결한다.
• 후보 집합의 재정렬이 아닌 전체 컬렉션에서의 엔드 투 엔드 문서 검색을 가능하게 한다.
• 표준 트랜스포머를 새로운 컨포머 레이어로 대체하여 효율성과 확장성을 향상시킨다.
• 잠재적 의미 매칭을 보완하고 잘못된 양성 결과를 줄이기 위해 명시적 어휘 텀 매칭을 통합한다.
• TK 스타일 모델이 낮은 추론 비용을 유지하면서도 전체 검색에 적합하게 조정될 수 있음을 입증한다.

제안 방법

• 표준 트랜스포머 레이어를 메모리 복잡도를 O(n²)에서 O(n × d_key)로 줄이는 새로운 컨포머 레이어로 대체하여 입력 길이에 따라 선형 확장이 가능하도록 한다.
• 쿼리 텀 독립성(QTI) 가정을 통합하여 쿼리와 문서를 별도로 인코딩할 수 있도록 하여 문서 표현의 사전 계산을 가능하게 한다.
• 검색 과정에서 어휘 신호를 강화하기 위해 학습된 BM25 구성 요소를 미분 가능한 텀 매칭 서브모델로 도입한다.
• 컨포머 기반 잠재 매칭 기능과 병렬로 작동하는 명시적 텀 매칭 헤드를 TK 모델에 확장한다.
• 상위 순위 후보자들로부터 약한 지도 신호를 사용하여 전체 모델을 엔드 투 엔드로 훈련한다. 이들 후보자들을 양성 예외로 간주한다.
• 랭킹 성능 향상을 위해 ORCAS 필드 기술서를 추가 문서 특징으로 사용한다.

실험 결과

연구 질문

• RQ1 선형 메모리 복잡도를 가지는 컨포머 기반 아키텍처가 장문의 문서에 대해 효과적인 전체 검색을 가능하게 할 수 있는가?
• RQ2 잠재 매칭 외에 명시적 텀 매칭을 통합할 경우 전체 검색에서 성능 향상은 어떻게 이루어지는가?
• RQ3 QTI 가정이 사전 문서 인코딩을 가능하게 하여 효율적이고 확장 가능한 검색을 어느 정도 가능하게 하는가?
• RQ4 컨포머-커널과 같은 얕고 미미리 훈련된 모델이 전체 검색 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 컨포머와 텀 매칭 서브모델의 조합이 TREC 2019에서 MRR 및 NDCG 점수에 어떤 영향을 미치는가?

주요 결과

• 컨포머-커널 모델은 전체 TREC 2019 테스트 세트에서 MRR 0.845와 NDCG@10 0.554를 기록하여 비신경 기반 기준 모델과 DeepCT를 능가한다.
• 학습된 BM25를 추가함으로써 성능이 MRR 0.906과 NDCG@10 0.603로 향상되었으며, 명시적 어휘 매칭의 유용성을 입증한다.
• ORCAS 필드 기술서를 통합함으로써 NDCG@10가 0.620으로 추가로 상승하여 보조 문서 특징의 가치를 보여준다.
• 컨포머 레이어 덕분에 GPU 메모리 사용량이 입력 길이에 따라 선형으로 증가하며, 표준 트랜스포머의 제곱형 증가와는 다릅니다.
• 비-BERT 기반 기준 모델(BM25+RM3)보다 MRR 및 NDCG@10에서 뛰어난 성능을 보이며 전체 검색에서 강력한 일반화 능력을 보여준다.
• 비-BERT 기반 기준 모델을 능가했지만, BERT 기반 모델(예: 0.961 MRR)에 비해 여전히 뒤처지므로 미리 훈련을 통해 향상 가능성이 있음을 시사한다.