[논문 리뷰] Multilingual Question Answering from Formatted Text applied to Conversational Agents

Wissam Siblini, Charlotte Pasqual외 3명|arXiv (Cornell University)|2019. 10. 10.

Topic Modeling참고 문헌 44인용 수 13

한 줄 요약

이 논문은 다국어 BERT(mBERT)가 레이블이 없는 목표 언어 데이터 없이도 추출형 질의응답에 대해 제로샷 다국어 전이를 가능하게 하며, 프랑스어와 일본어에서 뛰어난 성능을 달성함을 보여준다. 또한 기계 번역을 통한 합성 데이터와 제로샷 전이를 조합하면 성능이 크게 향상되며, 이는 기업 내부 네트워크 콘텐츠를 활용해 여러 언어로 질문에 답변할 수 있는 실용적인 다국어 HR 챗봇 'Kate'의 구현을 가능하게 한다.

ABSTRACT

Recent advances with language models (e.g. BERT, XLNet, ...), have allowed surpassing human performance on complex NLP tasks such as Reading Comprehension. However, labeled datasets for training are available mostly in English which makes it difficult to acknowledge progress in other languages. Fortunately, models are now pre-trained on unlabeled data from hundreds of languages and exhibit interesting transfer abilities from one language to another. In this paper, we show that multilingual BERT is naturally capable of zero-shot transfer for an extractive Question Answering task (eQA) from English to other languages. More specifically, it outperforms the best previously known baseline for transfer to Japanese and French. Moreover, using a recently published large eQA French dataset, we are able to further show that (1) zero-shot transfer provides results really close to a direct training on the target language and (2) combination of transfer and training on target is the best option overall. We finally present a practical application: a multilingual conversational agent called Kate which answers to HR-related questions in several languages directly from the content of intranet pages.

연구 동기 및 목표

• 프랑스어와 일본어와 같이 자원이 적은 언어에서 다국어 질의응답에 대해 mBERT의 제로샷 전이 능력을 평가하는 것.
• 기계 번역을 통한 합성 훈련 데이터가 제로샷 전이 성능을 향상시킬 수 있는지 조사하는 것.
• 다국어 웹 콘텐츠에서 질문에 답변할 수 있는 실용적인 다국어 대화형 에이전트('Kate')를 개발하고 구현하는 것.
• 질문과 문맥이 서로 다른 언어에 있을 경우 mBERT가 어떻게 다국어 질의응답을 처리할 수 있는지 평가하는 것.
• 사전에 수작업으로 레이블링된 훈련 데이터에 대한 의존도를 줄이기 위해 사전 학습된 다국어 모델을 활용하는 것.

제안 방법

• 추출형 질의응답을 위한 mBERT를 영어 SQuAD 데이터셋으로 미세조정한다.
• 미세조정된 mBERT 모델을 프랑스어 및 일본어의 질문-답변 쌍에 대해 추가 미세조정 없이 직접 적용함(제로샷 전이).
• 신경 기계 번역을 사용해 영어 SQuAD 질문과 문맥을 목표 언어로 번역함으로써 합성 훈련 데이터를 생성한다.
• 합성 다국어 데이터로 mBERT를 다시 미세조정하여 제로샷 성능을 향상시킨다.
• mBERT를 HTML로 변환된 기업 내부 웹페이지에서 답변을 검색하는 대화형 에이전트 아키텍처에 통합한다.
• 검색 기반 QA 파이프라인을 사용: URL에서 텍스트를 추출하고, 각 텍스트를 mBERT의 문맥으로 제공하며, 점수가 가장 높은 답변을 선택한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 목표 언어 데이터 없이 mBERT가 영어에서 프랑스어와 일본어로 제로샷 다국어 질의응답을 수행할 수 있는가?
• RQ2 제로샷 전이 성능가 장기적으로 목표 언어 데이터셋에 직접 훈련한 성능와 비교해 어떻게 되는가?
• RQ3 기계 번역을 통한 합성 데이터가 제로샷 전이 성능 향상에 얼마나 기여하는가?
• RQ4 질문과 문맥이 서로 다른 언어에 있을 경우 mBERT가 다국어 QA를 처리할 수 있는가?
• RQ5 mBERT가 다국어 기업 내부 웹 콘텐츠에서 질문에 답변하는 실제 다국어 대화형 에이전트에서 얼마나 효과적으로 작동하는가?

주요 결과

• mBERT는 프랑스어와 일본어에서 강력한 제로샷 전이 성능를 보이며, 두 언어에서 이전의 베이스라인 성능을 모두 초월한다.
• 특히 새로 발표된 프랑스어 eQA 데이터셋과 같이 대규모 목표 언어 데이터셋을 사용할 경우, 제로샷 전이 결과가 직접 목표 언어 데이터셋으로 훈련한 결과와 매우 유사하다.
• 제로샷 전이와 기계 번역을 통한 합성 데이터를 조합하면 수작업 레이블링된 훈련 데이터 수준의 성능을 달성한다.
• 질문과 문맥 사이에 어휘적 일치가 없더라도(예: 영어 질문, 프랑스어 문맥) mBERT는 질문에 성공적으로 답변할 수 있다.
• HR 챗봇 'Kate'에 mBERT를 실질적으로 도입함으로써 수작업 의도나 응답 컨텐츠 정제 없이도 비정형 기업 내부 웹 콘텐츠에서 정확한 다국어 QA를 수행할 수 있다.
• 강력한 성능에도 불구하고 mBERT는 비연속적인 여러 텍스트 세그먼트에 산재한 답변을 처리하는 데 어려움을 겪으며, 이는 답변 집계 기법의 필요성을 시사한다.