[논문 리뷰] Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network

Peilu Wang, Yao Qian외 3명|arXiv (Cornell University)|2015. 10. 21.

Natural Language Processing Techniques참고 문헌 25인용 수 96

한 줄 요약

이 논문은 형태소 특징을 사용하지 않고 Penn Treebank WSJ 테스트 세트에서 97.40%의 최고 성능을 기록한 단어 임베딩을 활용한 양방향 Long Short-Term Memory 순환 신경망(BLSTM-RNN)을 제안한다. 이 방법은 BLSTM 프레임워크 내에서 마스크된 언어 모델링 목적함수를 사용해 엔드 투 엔드로 단어 임베딩을 훈련시켜 대규모 비라벨 텍스트에서 효과적인 문맥 표현 학습을 가능하게 한다.

ABSTRACT

Bidirectional Long Short-Term Memory Recurrent Neural Network (BLSTM-RNN) has been shown to be very effective for tagging sequential data, e.g. speech utterances or handwritten documents. While word embedding has been demoed as a powerful representation for characterizing the statistical properties of natural language. In this study, we propose to use BLSTM-RNN with word embedding for part-of-speech (POS) tagging task. When tested on Penn Treebank WSJ test set, a state-of-the-art performance of 97.40 tagging accuracy is achieved. Without using morphological features, this approach can also achieve a good performance comparable with the Stanford POS tagger.

연구 동기 및 목표

• 수작업된 형태소 특징에 의존하지 않는 신경망 기반 POS 태깅 시스템을 개발하는 것.
• BLSTM-RNN에 단어 임베딩을 적용할 경우 표준 POS 벤치마크 데이터셋에서 최고 성능을 달성할 수 있는지 조사하는 것.
• 비라벨 텍스트를 사용해 BLSTM-RNN 프레임워크 내에서 직접 단어 임베딩을 훈련시키는 새로운 방법을 제안하는 것.
• 사전 훈련된 임베딩과 자기 훈련된 임베딩이 POS 태깅 정확도에 미치는 영향을 평가하는 것.

제안 방법

• 시퀀스의 장거리 의존성을 모델링하기 위해 양방향 LSTM 네트워크를 사용하여 각 단어의 과거 및 미래 문맥을 모두 포착한다.
• 단어 임베딩(학습 또는 사전 훈련된 것)과 세 가지 케이스 특징(소문자, 대문자, 문장 시작 대문자)을 조합한 하이브리드 입력 표현을 사용하여 대문자 정보를 유지한다.
• 새로운 비지도 사전 훈련 목표를 도입: 문장 내 단어가 무작위 단어로 대체되었는지 예측하는 것으로, 효과적으로 마스크된 언어 모델링을 통한 단어 임베딩 훈련을 수행한다.
• 대규모 비라벨 텍스트(예: 북미 뉴스 코퍼스)에서 이 사전 훈련 작업을 통해 학습된 임베딩을 사용해 BLSTM-RNN의 단어 임베딩 레이어를 초기화한다.
• 정확한 POS 태그의 가능도를 극대화하기 위해 역전파와 확률적 경사 하강법을 사용해 전체 모델을 엔드 투 엔드로 훈련한다.
• 각 단어의 시퀀스에 대해 POS 태그에 대한 확률 분포를 예측하기 위해 소프트맥스 출력 레이어를 적용한다.

실험 결과

연구 질문

• RQ1 자기 훈련된 단어 임베딩을 갖춘 BLSTM-RNN 모델이 형태소 특징을 사용하지 않고도 POS 태깅에서 최고 성능을 달성할 수 있는가?
• RQ2 비라벨 사전 훈련 코퍼스의 크기가 학습된 단어 임베딩의 품질과 후속 태깅 정확도에 어떤 영향을 미치는가?
• RQ3 POS 태거와 동일한 신경망 아키텍처 내에서 단어 임베딩을 훈련시키는 것이 외부 모델에서 사전 훈련된 임베딩을 사용하는 것보다 성능이 뛰어나게 되는가?
• RQ4 형태소 특징이 제거된 상황에서, 이중어미와 같은 간단한 특징이 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 BLSTM-RNN는 자기 훈련된 단어 임베딩을 사용해 Penn Treebank WSJ 테스트 세트에서 97.40%의 테스트 정확도를 기록하여 새로운 최고 성능 기록을 수립한다.
• 비라벨 텍스트 5.3억 단어(WE(all))에서 단어 임베딩을 훈련하면 성능이 크게 향상되어 무작위 초기화 대비 오류율이 20% 이상 감소한다.
• 형태소 특징을 사용하지 않더라도 WE(all)를 사용할 경우 97.26%의 정확도를 달성하여 이전 시스템이 복잡한 형태소 특징에 의존하는 것보다 뛰어나다.
• 마지막 두 문자로 구성된 이중어미 특징을 원-핫 벡터로 추가하면 정확도가 97.40%로 향상되며, 더 긴 어미 특징(예: 삼중어미)은 성능 향상에 기여하지 않는다.
• 외부 소스(예: Google News, Wikipedia, Twitter)에서 사전 훈련된 단어 임베딩는 낮은 OOV 비율에도 불구하고 BLSTM-RNN와 함께 엔드 투 엔드로 훈련된 임베딩의 성능을 따라오지 못한다.
• WE(all)로 훈련된 모델은 형태소 특징을 광범위하게 사용하는 Toutanova 등(2003)의 최고 성능 시스템과 유사한 성능을 달성한다.