[논문 리뷰] Multi Task Deep Morphological Analyzer: Context Aware Joint Morphological Tagging and Lemma Prediction

Saurav Jha, Akhilesh Sudhakar외 1명|arXiv (Cornell University)|2018. 11. 21.

Natural Language Processing Techniques참고 문헌 64인용 수 4

한 줄 요약

이 논문은 히ン두어와 우르두어에 대해 다중 작업 학습을 통해 형태소 태깅과 어근 예측을 동시에 수행하는 문자 수준의 딥 네ural 네트워크인 MT-DMA를 제안한다. 공유된 초기 파rameter와 맥락 인지 특징을 사용하여 6개의 형태소 태그(품사, 성, 수, 인자, 격조사, TAM)와 어근 예측을 동시에 최적화함으로써, 문자 수준 표현의 다목적 최적화를 통해 모든 7개의 과제에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The ambiguities introduced by the recombination of morphemes constructing several possible inflections for a word makes the prediction of syntactic traits in Morphologically Rich Languages (MRLs) a notoriously complicated task. We propose the Multi Task Deep Morphological analyzer (MT-DMA), a character-level neural morphological analyzer based on multitask learning of word-level tag markers for Hindi and Urdu. MT-DMA predicts a set of six morphological tags for words of Indo-Aryan languages: Parts-of-speech (POS), Gender (G), Number (N), Person (P), Case (C), Tense-Aspect-Modality (TAM) marker as well as the Lemma (L) by jointly learning all these in one trainable framework. We show the effectiveness of training of such deep neural networks by the simultaneous optimization of multiple loss functions and sharing of initial parameters for context-aware morphological analysis. Exploiting character-level features in phonological space optimized for each tag using multi-objective genetic algorithm, our model establishes a new state-of-the-art accuracy score upon all seven of the tasks for both the languages. MT-DMA is publicly accessible: code, models and data are available at https://github.com/Saurav0074/morph_analyzer.

연구 동기 및 목표

• 히ン두어와 우르두어와 같은 형태소가 rich한 언어(MRLs)에서 형태소 모호성 문제를 해결하기 위해.
• 다양한 작업을 공동으로 학습시켜 형태소 태깅 및 어근 예측의 정확도를 향상시키기 위해.
• 다목적 유전 알고리즘을 통해 최적화된 문자 수준 표현을 활용하여 더 나은 맥락 인지 능력을 확보하기 위해.
• 인도아리안어의 7개 형태소 예측 과제에 대해 새로운 최신 기술 수준 성능 기준을 설정하기 위해.

제안 방법

• 모델은 문자 수준 입력 시퀀스를 기반으로 형태소 패턴을 포착하기 위해 딥 네럴 네트워크 아키텍처를 사용한다.
• 다중 작업 학습을 통해 6개의 형태소 태그 예측(품사, 성, 수, 인자, 격조사, TAM)과 어근 예측을 동시에 최적화한다.
• 공유된 초기 레이어가 저수준 특징을 추출하고, 각 출력 헤드별로 작업 전용 분기 구조를 사용한다.
• 문자 수준 특징은 다목적 유전 알고리즘을 사용해 음운 공간에서 최적화하여 맥락 인지 능력을 향상시킨다.
• 학습 중에 다중 손실 함수를 동시에 최소화하여 일반화 능력과 표현 학습 능력을 향상시킨다.
• 프레임워크는 작업 간 파rameter 공유를 가능하게 하여 자원이 적은 형태소 분석 과제에서 데이터 효율성과 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 다양한 형태소 태깅 및 어근 예측 과제를 공동으로 학습시키는 것이 형태소가 rich한 언어에서 성능 향상에 기여하는가?
• RQ2 히ン두어와 우르두어에서 문자 수준 형태소 분석에 대해 공유된 표현을 사용한 다중 작업 학습은 얼마나 효과적인가?
• RQ3 다목적 유전 알고리즘을 통해 최적화된 맥락 인지 문자 수준 특징은 형태소 태깅 정확도 향상에 기여하는가?
• RQ4 다중 손실 함수를 동시에 최적화하는 것은 더 나은 일반화 능력과 최신 기술 수준 결과를 이끌어내는가?
• RQ5 작업 간 파rameter 공유가 자원이 적은 형태소 분석 과제에서 성능 향상에 얼마나 기여하는가?

주요 결과

• MT-DMA는 히ン두어와 우르두어 양쪽 모두에서 7개의 형태소 예측 과제에서 새로운 최신 기술 수준 정확도 스코어를 달성한다.
• 기존 방법보다 품사, 성, 수, 인자, 격조사, TAM 표시어 및 어근 예측에서 모두 뛰어난 성능을 보인다.
• 공유된 초기 파rameter를 사용한 다중 작업 훈련은 단일 작업 기반 베이스라인 대비 성능 향상에 크게 기여한다.
• 다목적 유전 알고리즘을 통해 최적화된 문자 수준 특징의 사용은 맥락 인지 능력과 예측 정확도 향상에 기여한다.
• 다중 손실 함수의 공동 최적화는 다양한 형태소 태그에 걸쳐 더 나은 일반화 능력과 강건성을 확보한다.
• 모델는 코드, 트레이닝된 모델, 데이터셋을 포함해 공개되어 있어 재현성과 향후 연구를 가능하게 한다.