[논문 리뷰] Cross-lingual Information Retrieval with BERT

Zhuolin Jiang, A. El-Jaroudi외 3명|arXiv (Cornell University)|2020. 04. 24.

Topic Modeling참고 문헌 23인용 수 22

한 줄 요약

이 논문은 레이블이 부여된 관련성 애너테이션을 필요로 하지 않고 영어 쿼리와 외국어 문서 간의 관련성을 학습하는, 미세튜닝된 다국어 BERT 기반의 교차언어 정보 검색(CLIR) 모델을 제안한다. 평행 비텍스트를 활용해 프록시 학습 데이터를 생성함으로써, 리트로아니아 CLIR 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 신경 기반 기준 모델을 능가하고 확률 기반 모델과도 맞먹는 성능을 보였다.

ABSTRACT

Multiple neural language models have been developed recently, e.g., BERT and XLNet, and achieved impressive results in various NLP tasks including sentence classification, question answering and document ranking. In this paper, we explore the use of the popular bidirectional language model, BERT, to model and learn the relevance between English queries and foreign-language documents in the task of cross-lingual information retrieval. A deep relevance matching model based on BERT is introduced and trained by finetuning a pretrained multilingual BERT model with weak supervision, using home-made CLIR training data derived from parallel corpora. Experimental results of the retrieval of Lithuanian documents against short English queries show that our model is effective and outperforms the competitive baseline approaches.

연구 동기 및 목표

• BERT를 사용하여 교차언어 정보 검색을 위한 딥 리levance 매칭 모델을 개발한다.
• 쿼리-문서 관련성 레이블을 수동으로 애너테이션하는 데 드는 비용을 줄이기 위해, 평행 비텍스트에서 학습 데이터를 생성한다.
• 영어에서 리트로아니아어와 같은 저자원 언어 쌍에 대해 교차언어 문서 검색 성능을 향상시킨다.
• 미세튜닝된 다국어 BERT가 프록시 CLIR 데이터에서 학습함으로써 교차언어 환경에서 강력한 제로샷 및 희소샷 일반화 성능을 달성할 수 있음을 보여준다.

제안 방법

• 평행 비텍스트에서 구성된 프록시 CLIR 작업에 대해 다국어 BERT 모델을 미세튜닝하며, 단어 수준의 정렬이 아닌 문장 수준의 정렬만을 사용한다.
• 영어 쿼리를 평행 코퍼스의 해당하는 외국어 문장과 쌍으로 묶어 학습 데이터를 구성하며, 서로 번역 관계에 있으면서 관련성이 있다고 간주한다.
• BERT 입력 형식을 사용한다: [CLS] 쿼리 [SEP] 외국어 문장 [SEP]이며, 쿼리와 문서 토큰 간에 공유된 어텐션을 사용한다.
• 정확한 쿼리-문장 쌍의 관련성 점수를 최대화하고 잘못된 쌍의 점수를 최소화하기 위해 대조 학습 목적함수를 최적화한다.
• BERT의 자체 어텐션 메커니즘을 활용해 쿼리와 문서 간의 단어 수준 및 n-gram 수준의 매칭 패턴을 포착한다.
• 어텐션 헤드를 시각화하여 BERT가 소스-타겟 단어 매칭과 바이그램 수준의 의미 패턴을 어떻게 포착하는지 분석한다.

실험 결과

연구 질문

• RQ1 명시적인 관련성 애너테이션 없이도, 미세튜닝된 다국어 BERT 모델이 교차언어 관련성에 효과적으로 학습할 수 있는가?
• RQ2 저자원 언어 쌍에서 기존의 신경 기반 및 비신경 기반 기준 모델과 비교해 BERT 기반 CLIR 모델의 성능은 어떠한가?
• RQ3 평행 비텍스트에서 유도된 프록시 학습 데이터가 비용이 많이 드는 관련성 레이블이 부여된 데이터를 얼마나 효과적으로 대체할 수 있는가?
• RQ4 BERT는 교차언어 검색에서 어떤 종류의 매칭 패턴(예: 단어 수준, 바이그램 수준)을 학습하는가?

주요 결과

• BERT 기반 CLIR 모델은 개발 세트에서 MAP 점수 61.8, 분석 세트에서 65.7을 기록하며, QRANN, 도트-곱, 기타 신경 기반 기준 모델을 능가했다.
• 어휘어 쿼리 서브셋에서는 MAP 점수가 61.3%를 기록하여 비교된 모든 모델 중에서 가장 높은 성능을 보였으며, 다단어 쿼리에서의 강력한 성능을 시사한다.
• 말 데이터에선 MQWV 점수 65.4, 텍스트 데이터에선 65.7을 기록하며, 모든 다른 신경 기반 모델을 능가했고, 최고의 비신경 시스템과도 맞먹는 성능을 보였다.
• 어텐션 시각화 결과 BERT가 직접적인 단어 간 매칭(예: 'writing' → 'rašo')과 바이그램 수준의 모델링(예: 'writing well' → 'rašo arba gerai')을 모두 포착하는 것으로 확인되었다.
• 단일어 쿼리로만 훈련되었음에도 불구하고 어휘어 쿼리에서 가장 뛰어난 성능을 보였으며, 이는 다단어 쿼리 패턴으로의 강력한 일반화 능력을 시사한다.