[논문 리뷰] Cross-Lingual Relevance Transfer for Document Retrieval

Peng Shi, Jimmy Lin|arXiv (Cornell University)|2019. 11. 08.

Topic Modeling참고 문헌 8인용 수 5

한 줄 요약

이 논문은 영어 데이터에서 훈련된 문장 수준의 관련성 모델을 다국어 BERT(mBERT)를 통해 다섯 가지 비영어 언어인 중국어, 아랍어, 프랑스어, 히ند어, 우르두어로 전이시켜 문서 검색 성능을 향상시킬 수 있음을 보여준다. 언어별 특화 조정 없이도 성능 향상이 가능하며, 영어 소셜 미디어 관련성 데이터로 미세조정한 mBERT를 직접 타겟 언어에 적용함으로써 단일 언어 및 다국어 검색 작업 모두에서 순위 효과성 향상이 뚜렷하다.

ABSTRACT

Recent work has shown the surprising ability of multi-lingual BERT to serve as a zero-shot cross-lingual transfer model for a number of language processing tasks. We combine this finding with a similarly-recently proposal on sentence-level relevance modeling for document retrieval to demonstrate the ability of multi-lingual BERT to transfer models of relevance across languages. Experiments on test collections in five different languages from diverse language families (Chinese, Arabic, French, Hindi, and Bengali) show that models trained with English data improve ranking quality, without any special processing, both for (non-English) mono-lingual retrieval as well as cross-lingual retrieval.

연구 동기 및 목표

• 영어 데이터에서 훈련된 관련성 모델이 mBERT를 통해 비영어 언어로 효과적으로 전이되는지 조사하는 것.
• 언어별 적응 없이 mBERT가 제로샷 다국어 문서 검색에서 성능을 어떻게 발휘하는지 평가하는 것.
• 다양한 언어 계열에서 단일 언어 및 다국어 검색 설정 모두에서 mBERT의 효과성을 평가하는 것.
• mBERT의 임bedding을 미세조정하면 다국어 전이 성능에 어떤 영향을 미치는지 검토하는 것.
• Google 번역을 기준으로 하여 쿼리 번역 품질이 다국어 검색 성능에 미치는 영향을 평가하는 것.

제안 방법

• TREC 마이크로블로그 트랙에서 제공한 영어 마이크로블로그 관련성 데이터를 기반으로 mBERT를 문장 수준의 관련성 분류에 대해 미세조정한다.
• mBERT의 [CLS] 토큰 표현을 사용하여 쿼리-문장 쌍의 관련성 점수를 예측한다.
• 상위-k 개의 문장 수준 관련성 점수를 BM25 어휘 매칭 점수와 가중합으로 조합한다: $ S_{\text{doc}} = \alpha \cdot S_r + (1 - \alpha) \cdot \sum_{i=1}^k w_i \cdot S_i $.
• 재학습이나 언어별 적응 없이도 mBERT를 그대로 비영어 문서에 적용한다.
• 다국어 검색을 위해 추론 전에 쿼리를 Google 번역을 사용해 문서 언어로 번역한다.
• AP 및 NDCG@20와 같은 순위 메트릭을 최적화하기 위해 교차 검증을 통해 하이퍼파라미터 $\alpha$ 및 $w_i$를 조정한다.

실험 결과

연구 질문

• RQ1 mBERT를 통해 영어 소셜 미디어 데이터에서 훈련된 관련성 모델이 비영어 언어의 문서 검색 성능 향상에 효과적으로 전이될 수 있는가?
• RQ2 mBERT 전이 성능 향상이 저자원 언어를 포함한 다양한 언어 계열 전반에서 유지되는가?
• RQ3 mBERT의 토큰 임베딩을 미세조정하면 다국어 전이 성능에 어떤 영향을 미치는가?
• RQ4 블랙박스 번역기 사용 시 쿼리 번역 품질이 다국어 검색 성능에 어느 정도 영향을 미치는가?
• RQ5 다양한 언어 간 전이 효과성에 유의미한 차이가 존재하는가? 그 원인은 무엇인가?

주요 결과

• 영어 마이크로블로그 데이터로 미세조정한 mBERT는 언어별 특화 조정 없이도 다섯 가지 비영어 언어에서 문서 검색 성능 향상을 이룬다.
• 단일 언어 검색에서 mBERT는 중국어(NTCIR8-zh)에서 BM25 대비 평균 정밀도(AP) 향상이 최대 0.0561에 달하며, 언어 간 향상 폭은 0.018에서 0.041 사이이다.
• 다국어 검색에서는 번역 품질이 완벽하지 않음에도 불구하고 mBERT가 상당한 성능 향상을 이룬다. CLEF2006-en-fr 조건에서 AP 향상 최대 0.0462를 기록했다.
• mBERT의 임베딩을 미세조정하면 성능이 떨어지므로, 고정된 임베딩이 전이를 위해 다국어 정렬을 더 잘 유지하는 것으로 나타났다.
• 상위 점수 문장 하나만으로도 강력한 성능을 내며, 추가 문장은 극소수의 성능 향상만 제공한다.
• 다양한 언어 계열 전반에서 mBERT는 강력한 다국어 전이 능력을 보이며, 제로샷 관련성 전이 가능성을 시사한다.