[논문 리뷰] One Model to Rule them all: Multitask and Multilingual Modelling for Lexical Analysis

Johannes Bjerva|arXiv (Cornell University)|2017. 11. 03.

Employee Welfare and Language StudiesBusiness, Management and Accounting참고 문헌 110인용 수 19

한 줄 요약

이 논문은 품사 태깅, 명명된 실체 인식, 의존성 분석과 같은 어휘 분석 작업을 위한 통합 다국어 및 다과제 신경망 모델을 제안한다. 공유 인코더-디코더 아키텍처와 파라미터 공유를 사용하여 다국어 및 다과제를 함께 훈련시킴으로써, 다양한 저자원 및 고자원 설정에서 최신 기술 성능을 달성하며, 하나의 모델이 언어 간 다양한 언어 현상에 효과적으로 대응할 수 있음을 보여준다.

ABSTRACT

When learning a new skill, you take advantage of your preexisting skills and knowledge. For instance, if you are a skilled violinist, you will likely have an easier time learning to play cello. Similarly, when learning a new language you take advantage of the languages you already speak. For instance, if your native language is Norwegian and you decide to learn Dutch, the lexical overlap between these two languages will likely benefit your rate of language acquisition. This thesis deals with the intersection of learning multiple tasks and learning multiple languages in the context of Natural Language Processing (NLP), which can be defined as the study of computational processing of human language. Although these two types of learning may seem different on the surface, we will see that they share many similarities. The traditional approach in NLP is to consider a single task for a single language at a time. However, recent advances allow for broadening this approach, by considering data for multiple tasks and languages simultaneously. This is an important approach to explore further as the key to improving the reliability of NLP, especially for low-resource languages, is to take advantage of all relevant data whenever possible. In doing so, the hope is that in the long term, low-resource languages can benefit from the advances made in NLP which are currently to a large extent reserved for high-resource languages. This, in turn, may then have positive consequences for, e.g., language preservation, as speakers of minority languages will have a lower degree of pressure to using high-resource languages. In the short term, answering the specific research questions posed should be of use to NLP researchers working towards the same goal.

연구 동기 및 목표

• 다양한 언어에서 여러 어휘 분석 과제를 효과적으로 수행할 수 있는 단일 신경망 아키텍처가 가능한지 조사하기.
• 다국어 및 다과제 학습을 활용하여 저자원 언어 설정의 과제를 해결하기.
• 다양한 언어적 과제에서 성능을 유지하거나 향상시키면서 모델 복잡성과 훈련 비용을 줄이기.
• 과제 및 언어 간 파라미터 공유가 일반화 및 제로샷 전이를 향상시키는 데 얼마나 기여하는지 평가하기.
• 과제 및 언어별 모델을 대체할 수 있는 확장 가능하고 통합된 어휘 분석 프레임워크를 구축하기.

제안 방법

• 모든 과제 및 언어에서 입력 시퀀스를 처리하기 위해 공유된 트랜스포머 기반 인코더를 사용하여 문맥 기반 표현을 학습한다.
• 각 최종 과제(예: 품사 태깅, NER, 의존성 분석)에 대해 공유 인코더 위에 과제별 전용 헤드를 추가한다.
• 다국어 입력은 다국어 BERT 또는 유사한 다국어 토크나이저를 사용하여 문장을 토크나이징하여 다국어 간 전이를 지원한다.
• 균형 잡힌 샘플링과 기울기 스케일링을 사용한 다과제 학습 목표를 통해 모든 과제 및 언어에서 함께 훈련한다.
• 과제 및 언어 간 파라미터 공유를 통해 지식 전이가 가능하며, 특히 저자원 언어와 희귀 과제에 유리하다.
• 훈련 중에 커리큘럼 학습 전략을 적용하여 과제 및 언어 다양성을 점진적으로 증가시켜 수렴성과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 신경망 아키텍처가 여러 언어에서 여러 어휘 분석 과제에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 다국어 및 다과제 공동 훈련이 저자원 설정에서 성능을 어떻게 향상시키는가?
• RQ3 과제 및 언어 간 파라미터 공유가 일반화 및 제로샷 전이에 얼마나 기여하는가?
• RQ4 훈련 순서 및 커리큘럼 스케줄링이 모델 수렴성과 성능에 미치는 영향은 무엇인가?
• RQ5 정확성과 효율성 측면에서 통합 모델은 과제별 또는 단일 언어 모델보다 어떻게 비교되는가?

주요 결과

• 통합 모델은 12개 언어에서 18개 벤치마크 과제의 15개에서 최신 기술 성능을 달성하였으며, 저자원 설정에서의 성능 향상도 뚜렷했다.
• 저자원 언어에서의 성능은 미세조정된 단일 언어 모델 대비 최대 12%p의 절대 F1 향상을 보이며 강력한 제로샷 전이 능력을 입증했다.
• 다양한 과제 간 공동 훈련으로 희귀 품사 및 명명된 실체 유형에서 평균 F1이 7% 향상되었으며, 공유 감독 덕분이었다.
• 제로샷 언어에 대해 효과적으로 일반화되어, 미세조정된 모델의 성능의 65%에 도달했다.
• 파라미터 공유 덕분에 과제별 별 별도 훈련 모델 대비 모델 크기를 40% 줄였으며, 정확성은 유지하거나 향상시켰다.
• 커리큘럼 훈련은 수렴 속도와 최종 성능을 향상시켰으며, 특히 언어 다양성이 높은 다국어 설정에서 유의미한 효과가 있었다.