[논문 리뷰] How Language-Neutral is Multilingual BERT?

Jindřich Libovický, Rudolf Rosa외 1명|arXiv (Cornell University)|2019. 11. 08.

Topic Modeling참고 문헌 17인용 수 76

한 줄 요약

논문은 mBERT가 언어 특화 구성요소와 언어 중립적 구성요소를 모두 포함하고 있음을 보여준다; 중심화는 검색 및 정렬을 위한 언어 중립성을 높이고, 감독된 선형 투영은 크로스-링구얼 검색을 크게 개선할 수 있지만 MT 품질 추정은 여전히 어려운 문제이다.

ABSTRACT

Multilingual BERT (mBERT) provides sentence representations for 104 languages, which are useful for many multi-lingual tasks. Previous work probed the cross-linguality of mBERT using zero-shot transfer learning on morphological and syntactic tasks. We instead focus on the semantic properties of mBERT. We show that mBERT representations can be split into a language-specific component and a language-neutral component, and that the language-neutral component is sufficiently general in terms of modeling semantics to allow high-accuracy word-alignment and sentence retrieval but is not yet good enough for the more difficult task of MT quality estimation. Our work presents interesting challenges which must be solved to build better language-neutral representations, particularly for tasks requiring linguistic transfer of semantics.

연구 동기 및 목표

• Zero-shot 형태소/구문 전이 이상으로 확장하여 mBERT의 의미적 크로스링구얼 특성을 평가한다.
• mBERT 문장 표현을 언어 특화 구성 요소와 언어 중립 구성 요소로 분해한다.
• 문장 검색, 단어 정렬, MT 품질 추정을 통해 언어 중립성을 평가한다.
• 언어 중립성을 강화하기 위한 방법을 조사한다(센터링, 투영, 대상 튜닝, 적대적 제거).

제안 방법

• 문장 표현에서 언어 중심 정보를 언어 중심 중심점(centroid)을 빼서 센터링한다.
• 언어 식별, 언어 유사성, 평행 문장 검색, 단어 정렬, MT 품질 추정과 같은 과제를 통해 층별 표현을 탐사한다.
• 소규모 평행 데이터로 영어 공간에 대한 선형 투영을 평가한다.
• 검색 및 정렬 과제에서 비센터링, 센터링, 투영 기반 표현을 비교한다.
• UDify와 적대적 lng-free 설정으로 mBERT를 미세조정하여 언어 중립성에 대한 효과를 테스트한다.

실험 결과

연구 질문

• RQ1 104개 언어에서 다국어 BERT가 의미론적 과제에서 얼마나 언어 중립적인가?
• RQ2 센터링이나 선형 투영이 크로스링구얼 검색 및 정렬에 유용한 언어 무관성 표현을 만들어낼 수 있는가?
• RQ3 다국어 구문/형태소를 위한 미세조정 또는 적대적으로 언어 식별을 제거하는 것이 의미적 크로스링구얼성에 어떤 영향을 미치는가?
• RQ4 어떤 과제가 의미론적 크로스링구얼 전이의 가장 잘 반영되며, 현재 표현은 어디에서 실패하는가(예: MT 품질 추정)?

주요 결과

• 센터링된 표현은 언어 식별 정확도를 감소시켜 언어 특화 신호의 제거를 시사한다.
• 언어 중심점은 주로 언어 가족에 의해 그룹화되며, 부분적으로 언어 간 유사성을 보인다.
• 센터링은 크로스링구얼 문장 검색을 크게 향상시키며, 소규모 감독 투영이 정확도를 추가로 향상시켜 사실상 검색을 거의 완벽에 가깝게 만든다.
• mBERT 표현으로의 단어 정렬은 여러 언어 쌍에서 FastAlign보다 우수하며 센터링에 의해 크게 영향을 받지 않는다.
• MT 품질 추정은 센터링 비적용 또는 투영 기반 거리와 약하게 상관되며, 감독 회귀가 가장 잘 수행된다; 센터링만으로 QE를 달성하기 어렵다.
• 미세조정(UDify)은 언어 정체성을 제거하지 못하고 의미적 크로스링구얼성을 감소시킬 수 있으며, 적대적 언어 제거(lng-free)는 다른 작업에 해를 주지 않으면서 언어 신호를 억제할 수 있다.