[논문 리뷰] Improving part-of-speech tagging via multi-task learning and character-level word representations

Daniil Anastasyev, Ilya Gusev외 1명|arXiv (Cornell University)|2018. 07. 02.

Natural Language Processing Techniques참고 문헌 8인용 수 7

한 줄 요약

이 논문은 피드포워드 신경망을 사용한 새로운 캐릭터 수준의 단어 표현을 도입하고 이웃 레이블 예측 손실을 활용한 다중 작업 학습을 적용하여 품사 태깅 성능을 향상시켰다. 이 방법은 영어 및 러시아어 데이터셋에서 모델 성능과 학습 속도를 향상시키며, 레이블 간 의존성과 사전 훈련된 캐릭터 표현을 공동으로 학습하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we explore the ways to improve POS-tagging using various types of auxiliary losses and different word representations. As a baseline, we utilized a BiLSTM tagger, which is able to achieve state-of-the-art results on the sequence labelling tasks. We developed a new method for character-level word representation using feedforward neural network. Such representation gave us better results in terms of speed and performance of the model. We also applied a novel technique of pretraining such word representations with existing word vectors. Finally, we designed a new variant of auxiliary loss for sequence labelling tasks: an additional prediction of the neighbour labels. Such loss forces a model to learn the dependencies in-side a sequence of labels and accelerates the process of training. We test these methods on English and Russian languages.

연구 동기 및 목표

• 캐릭터 수준의 단어 표현과 다중 작업 학습을 활용하여 품사 태깅 성능을 향상시키기.
• 피드포워드 신경망을 사용하여 더 빠르고 효과적인 캐릭터 수준의 표현 방법을 설계하기.
• 레이블 시퀀스의 의존성을 포착하는 보조 손실을 탐색하여 일반화 능력을 향상시키기.
• 영어 및 러시아어에서 평가하여 이종 언어 환경에서의 효과성을 입증하기.
• 기존 단어 벡터를 사용하여 캐릭터 표현을 사전 훈련하여 초기화 및 성능 향상시키기.

제안 방법

• 더 빠른 추론과 학습을 위해 기존의 RNN을 대체하는 피드포워드 신경망 기반의 캐릭터 수준의 단어 표현을 제안하였다.
• 기존 단어 벡터를 사용하여 캐릭터 수준의 표현을 사전 훈련하여 초기화를 개선하고 의미 정보를 포착하였다.
• 시퀀스 내 이웃 레이블을 예측하는 새로운 보조 손실을 도입하여 국소적 레이블 일관성을 강제하였다.
• 보조 손실을 BiLSTM 기반의 품사 태깅 프레임워크에 통합하여 다중 작업 학습을 가능하게 하였다.
• 주 품사 태깅 목적과 이웃 레이블 예측 손실을 동시에 최적화하여 종합적으로 모델을 훈련시켰다.
• 이종 언어 설정에서 성능을 평가하기 위해 영어 및 러시아어 데이터셋을 모두 사용하였다.

실험 결과

연구 질문

• RQ1 피드포워드 기반의 캐릭터 수준 표현이 품사 태깅에서 속도와 정확도 측면에서 RNN 기반 대안보다 뛰어나게 성능을 낼 수 있는가?
• RQ2 기존 단어 벡터를 사용하여 캐릭터 수준의 표현을 사전 훈련하면 후속 품사 태깅 성능이 향상되는가?
• RQ3 이웃 레이블을 예측하는 보조 손실이 레이블 시퀀스 모델링을 향상시키고 수렴 속도를 높일 수 있는가?
• RQ4 러시아어와 같이 자원이 적거나 형태가 복잡한 언어에서 이웃 레이블 예측을 통한 다중 작업 학습이 일반화 능력을 얼마나 향상시키는가?
• RQ5 통합된 태깅 프레임워크 내에서 제안된 구성 요소들이 어떻게 상호작용하는가?

주요 결과

• 제안된 피드포워드 기반의 캐릭터 수준 표현은 RNN 기반 대비 더 빠른 학습과 추론을 달성하였다.
• 기존 단어 벡터를 사용한 캐릭터 수준 표현의 사전 훈련은 영어 및 러시아어 데이터셋 모두에서 성능 향상을 이끌었다.
• 이웃 레이블 예측 손실은 모델 수렴 속도를 크게 가속화하고 태깅 정확도를 향상시켰다.
• 캐릭터 수준 표현과 보조 손실을 통한 다중 작업 학습의 조합은 양 언어에서 최신 기술 수준의 성능을 달성하였다.
• 레이블 간 의존성의 더 나은 모델링 덕분에 특히 형태학적으로 복잡한 러시아어에서 뛰어난 일반화 능력을 보였다.
• 이 방법은 강건성과 효율성을 입증하여 자원이 적거나 형태학적으로 복잡한 언어 환경에 적합하다.