[논문 리뷰] Neural Task Representations as Weak Supervision for Model Agnostic Cross-Lingual Transfer

Sunil Kumar Jauhar, Michael Gamon외 1명|arXiv (Cornell University)|2018. 11. 02.

Topic Modeling참고 문헌 33인용 수 4

한 줄 요약

이 논문은 신경 작업 표현을 약한 지도 신호로 사용하여 모델에 종속되지 않는 프레임워크를 제안한다. 이는 라벨이 없는 병렬 데이터와 작업 표현에 대한 손실 함수만 필요로 하며, 독일어, 프랑스어, 일본어의 감성 분류에서 최신 기준(SOTA) 또는 경쟁력 있는 성능을 달성한다. 강력한 기준 모델 및 복잡한 방법보다 뛰어나며, 직접적인 지도 신호 없이 의미적으로 유의미한 다국어 표현을 학습한다.

ABSTRACT

Natural language processing is heavily Anglo-centric, while the demand for models that work in languages other than English is greater than ever. Yet, the task of transferring a model from one language to another can be expensive in terms of annotation costs, engineering time and effort. In this paper, we present a general framework for easily and effectively transferring neural models from English to other languages. The framework, which relies on task representations as a form of weak supervision, is model and task agnostic, meaning that many existing neural architectures can be ported to other languages with minimal effort. The only requirement is unlabeled parallel data, and a loss defined over task representations. We evaluate our framework by transferring an English sentiment classifier to three different languages. On a battery of tests, we show that our models outperform a number of strong baselines and rival state-of-the-art results, which rely on more complex approaches and significantly more resources and data. Additionally, we find that the framework proposed in this paper is able to capture semantically rich and meaningful representations across languages, despite the lack of direct supervision.

연구 동기 및 목표

• 비영어 언어의 자연어 처리(NLP)에서 레이블이 부여된 데이터의 높은 비용과 부족함 문제를 해결하기 위해.
• 저자원 언어에 대해 사전에 훈련된 영어 신경 모델을 최소한의 공학 작업과 데이터로 효과적으로 전이할 수 있도록 하기 위해.
• 작업 표현이 직접적인 정렬 없이도 다국어 의미를 학습하는 데 약한 지도 신호로 기능할 수 있는지 탐색하기 위해.
• 병렬 단일 언어 코퍼스만을 기반으로 하며, 아키텍처와 작업에 종속되지 않는 일반적인 전이 프레임워크를 개발하기 위해.
• 이 프레임워크가 명시적인 지도 없이 의미적으로 의미 있는 다국어 표현을 학습할 수 있는 능력을 평가하기 위해.

제안 방법

• 라벨이 없는 병렬 데이터에서 중간 작업 표현(예측 레이어 이전 레이어)을 약한 지도 신호로 활용한다.
• 이러한 작업 표현에 대한 손실 함수를 정의하여 언어 간 의미적 내용을 정렬한다.
• 공통의 언어에 종속되지 않는 신경 아키텍처를 통해 영어 작업 표현을 타겟 언어 임베딩으로 매핑하기 위해 표현 투영을 사용한다.
• 언어별 임베딩을 유지하면서도 고차원 네트워크 레이어를 공유하여 작업 특화 의미를 유지한다.
• 라벨이 부여된 영어 데이터와 라벨이 없는 병렬 데이터를 조합하여 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 임베딩 간余弦 유사도를 사용하여 다국어 의미 전이 능력을 평가한다.

실험 결과

연구 질문

• RQ1 사전에 훈련된 영어 모델의 작업 표현이 다국어 간 전이에 효과적인 약한 지도 신호로 기능할 수 있는가?
• RQ2 직접적인 지도 신호 또는 병행 레이블 없이 모델이 의미적으로 의미 있는 다국어 표현을 얼마나 잘 학습할 수 있는가?
• RQ3 이 프레임워크는 저자원 다국어 간 전이에서 강력한 기준 모델 및 최신 기준 방법보다 어떻게 비교되는가?
• RQ4 기계 번역 시스템과 결합할 경우 이 프레임워크는 여전히 효과적인가?
• RQ5 이 설정 하에서 모델 크기와 아키텍처는 다국어 간 전이 성능에 어떤 영향을 미치는가?

주요 결과

• 이 프레임워크는 동일한 병행 데이터로 훈련된 MT 기반 시스템을 포함한 여러 강력한 기준 모델보다 독일어, 프랑스어, 일본어의 감성 분류에서 뛰어난 성능을 보였다.
• 한 타겟 언어(독일어)에서, 더 단순한 방법과 더 적은 자원을 사용했음에도 불구하고 이전의 최신 기준 결과에 맞서거나 이를 초월하는 성능을 달성했다.
• 임베딩 유사도를 통해 영어의 긍정/부정 감성 단어가 프랑스어의 감성에 해당하는 단어들과 가까이 위치함을 통해, 모델이 의미적으로 풍부한 다국어 표현을 학습하고 있음을 입증했다.
• 더 큰 모델은 작업 표현에서 온 약한 지도 신호의 노이즈 증가와 과적합으로 인해 성능이 떨어지는 경향을 보였다.
• 고품질의 기계 번역 시스템이나 이중어 사전이 없이도 프레임워크가 효과적으로 작동하며, 병행 코퍼스와 작업 표현에 대한 손실 함수 외에 다른 자원이 필요로 하지 않는다.
• 이 방법은 언어 간에 잘 일반화되며, 독일어, 프랑스어, 일본어에서 동일 언어 검색 작업에서 각각 92%와 90%의 정확도를 기록했다.