[논문 리뷰] LAReQA: Language-agnostic answer retrieval from a multilingual pool

Uma Roy, Noah Constant외 4명|arXiv (Cornell University)|2020. 04. 11.

Topic Modeling참고 문헌 21인용 수 9

한 줄 요약

LAReQA는 다국어 풀에서 언어에 구애받지 않는 답변 검색을 위한 새로운 벤치마크를 소개한다. 이는 의미적으로 관련성이 있는 다국어 쌍이 동일 언어의 비관련 쌍보다 임베딩 공간에서 더 가까워야 하는 강력한 다국어 간 정렬을 요구한다. 연구 결과, 기계 번역을 통한 훈련 데이터 증강이 mBERT를 초월해 강력한 정렬을 향상시키지만, 이는 단일 언어 검색 작업에서의 성능 저하를 수반한다.

ABSTRACT

We present LAReQA, a challenging new benchmark for language-agnostic answer retrieval from a multilingual candidate pool. Unlike previous cross-lingual tasks, LAReQA tests for "strong" cross-lingual alignment, requiring semantically related cross-language pairs to be closer in representation space than unrelated same-language pairs. Building on multilingual BERT (mBERT), we study different strategies for achieving strong alignment. We find that augmenting training data via machine translation is effective, and improves significantly over using mBERT out-of-the-box. Interestingly, the embedding baseline that performs the best on LAReQA falls short of competing baselines on zero-shot variants of our task that only target "weak" alignment. This finding underscores our claim that languageagnostic retrieval is a substantively new kind of cross-lingual evaluation.

연구 동기 및 목표

• 강력한 다국어 간 정렬을 평가하는 새로운 벤치마크인 LAReQA를 소개함으로써, 기존의 제로샷 전이 작업을 넘어서는 다국어 표현의 정렬 성능을 평가하고자 한다.
• 다국어 BERT가 피니튜닝과 데이터 증강을 통해 강력한 정렬—즉, 의미적으로 관련성이 있는 다국어 쌍이 비관련 동일 언어 쌍보다 임베딩 공간에서 더 가까워야 하는 조건—을 달성할 수 있는지 조사하고자 한다.
• 다국어 및 단일 언어 검색 작업 모두에서 번역 기반 데이터 증강을 포함한 다양한 정렬 전략의 성능을 비교하고자 한다.
• 현재의 제로샷 다국어 간 전이 평가(예: XNLI)가 강력한 정렬을 충분히 측정하지 못하며, 높은 언어 편향을 가진 모델이 표준 벤치마크에서는 잘 성능을 내지만 실제로는 강력한 정렬을 달성하지 못할 수 있음을 보여주고자 한다.

제안 방법

• LAReQA 벤치마크는 질문과 답변이 다수의 언어에서 추출된 다국어 후보 풀을 구성하여, 언어에 관계없이 의미적으로 가장 관련성이 높은 답변을 검색해야 하는 과제를 제공한다.
• 저자들은 '강력한 정렬'을 의미적으로 관련성이 있는 다국어 쌍이 비관련 동일 언어 쌍보다 임베딩 공간에서 더 가까워야 한다는 조건으로 정의한다.
• 강력한 정렬을 유도하기 위해, 단일 언어 및 기계 번역된 훈련 예제를 조합하여 다국어 BERT(mBERT)를 피니튜닝한다.
• X-Y 기반 모델은 원본 및 역번역 문장 쌍을 모두 사용해 훈련하여 다국어 간 전이 성능을 향상시키고 표현의 언어 편향을 줄인다.
• 다국어 풀에서의 검색 성능은 평균 평균 정확도(mAP)를 사용해 평가되며, 제로샷 단일 언어 검색 및 언어 ID 예측과의 비교가 이루어진다.
• 저자들은 주성분 분석(PCA)을 사용해 임베딩 공간을 시각화하고, 임베딩에서 언어 정체성을 예측하기 위한 선형 분류기를 훈련하여 언어 편향을 측정한다.

실험 결과

연구 질문

• RQ1 다국어 BERT는 강력한 다국어 간 정렬—즉, 의미적으로 관련성이 있는 다국어 쌍이 비관련 동일 언어 쌍보다 더 가까워야 하는 조건—을 피니튜닝을 통해 달성할 수 있는가?
• RQ2 기계 번역을 통한 데이터 증강이 mBERT의 기본 성능을 초월해 강력한 정렬을 향상시키는가?
• RQ3 임베딩에서 언어 ID 예측 가능성으로 측정한 언어 편향과 강력한 정렬 성능 간 상관관계는 어떠한가?
• RQ4 표준 제로샷 다국어 간 전이 평가(예: XNLI)에서 잘 성능을 내는 모델들이 LAReQA에서는 실패하는 이유는 무엇인가? 왜냐하면 LAReQA는 강력한 정렬을 요구하기 때문이다.
• RQ5 강력한 다국어 간 정렬과 동일 언어 내 검색 성능 간에 상충 관계가 존재하는가?

주요 결과

• 역번역 데이터를 사용해 훈련한 X-Y 기반 모델은 LAReQA에서 mAP 0.63을 기록하며, mBERT 및 기타 기반 모델들을 크게 앞서며 최고 성능을 보였다.
• LAReQA에서 가장 높은 성능을 보인 기반 모델(X-Y)은 단일 언어 검색 과제에서는 다른 모델들보다 뒤처지며, 강력한 정렬과 동일 언어 정확도 사이에 성능의 상충 관계가 있음을 시사한다.
• X-X 모델의 임베딩에서 언어 ID는 99.2%의 정확도로 예측 가능하여 높은 언어 편향을 보였지만, X-Y 모델은 언어 ID 예측 정확도가 오직 54.0%에 불과하여 언어 편향이 감소한 것으로 나타났다.
• 표준 제로샷 전이 평가(예: XNLI)에서 잘 성능을 내는 모델들이 LAReQA에서는 실패하는 경우가 많으며, 이는 현재의 벤치마크가 강력한 정렬을 효과적으로 측정하지 못한다는 것을 보여준다.
• 동일 언어 데이터로만 훈련된 X-X (-mono) 기반 모델은 단일 언어 검색 과제에서 최고 성능을 기록했으며(표 4 참조), 그러나 LAReQA에서는 mAP 0.23에 그쳐 이 과제의 독특한 과제 도전성을 강조한다.
• 기계 번역을 통한 훈련 데이터 증강이 강력한 정렬을 크게 향상시키며, mBERT의 내재된 능력을 초월해 명시적인 다국어 간 데이터가 강력한 정렬을 달성하는 데 필수적임을 보여준다.