[논문 리뷰] Does Higher Order LSTM Have Better Accuracy for Segmenting and Labeling Sequence Data?

Yi Zhang, Xu Sun외 3명|arXiv (Cornell University)|2017. 11. 22.

Topic Modeling참고 문헌 31인용 수 5

한 줄 요약

이 논문은 저순위 및 고순위 태그 간 의존성을 통합하기 위해 잘라내기 기법을 사용하여 확장성을 유지하는 새로운 시퀀스 태깅 모델인 다중순서 양방향LSTM(MO-BiLSTM)을 제안한다. 기존의 표준 LSTM-CRF 모델이 인접 태그 전이만 모델링하는 데 반해, MO-BiLSTM는 다중 순서 상태의 예측을 조합함으로써 더 긴 거리의 태그 간 의존성을 포착하여, 전문어 구절 분할 작업에서 최고 성능(F1 점수)을 달성하고Named Entity Recognition(NER) 작업에서도 경쟁력 있는 성능을 보인다.

ABSTRACT

Existing neural models usually predict the tag of the current token independent of the neighboring tags. The popular LSTM-CRF model considers the tag dependencies between every two consecutive tags. However, it is hard for existing neural models to take longer distance dependencies of tags into consideration. The scalability is mainly limited by the complex model structures and the cost of dynamic programming during training. In our work, we first design a new model called "high order LSTM" to predict multiple tags for the current token which contains not only the current tag but also the previous several tags. We call the number of tags in one prediction as "order". Then we propose a new method called Multi-Order BiLSTM (MO-BiLSTM) which combines low order and high order LSTMs together. MO-BiLSTM keeps the scalability to high order models with a pruning technique. We evaluate MO-BiLSTM on all-phrase chunking and NER datasets. Experiment results show that MO-BiLSTM achieves the state-of-the-art result in chunking and highly competitive results in two NER datasets.

연구 동기 및 목표

• 시퀀스 태깅 작업에서 장거리 태그 간 의존성을 포착하는 데에 기존의 신경망 모델의 한계를 해결하기 위해.
• 다중 태그를 동시에 예측하는 고순위 LSTM 모델이 시퀀스 분할 및 태깅 정확도를 향상시키는지 조사하기 위해.
• 순수 고순위 LSTM 모델의 확장성 및 성능 저하 문제를 하이브리드 아키텍처를 통해 극복하기 위해.
• 다중순위 태그 정보를 통합하면서도 학습 및 추론 효율성을 유지하기 위해 잘라내기 기반 방법을 개발하기 위해.
• 특히 경계 및 장거리 세그먼트 탐지에 있어 인접한 쌍이 아닌 태그 간 의존성을 모델링하는 것이 얼마나 효과적인지 입증하기 위해.

제안 방법

• 각 예측이 현재 토큰과 이전 (n-1)개의 태그를 포함하는 단일순서 LSTM 모델을 설계하여, '순서-n' 태그 시퀀스를 형성한다.
• 순서를 예측에 관여하는 연속된 태그의 수로 정의하며, 순서-1은 유니그램, 순서-2는 바이그램 등으로 간주한다.
• 다양한 순서 모델(예: 순서-1 및 순서-2)의 예측을 통합하는 통합 디코딩 프레임워크를 제공하기 위해 다중순서 양방향LSTM(MO-BiLSTM)을 제안한다.
• 고순위 모델의 계산 비용을 낮추기 위해 학습 중에 잘라내기 기법을 적용하여 성능 저하 없이 비용을 절감한다.
• Bi-LSTM 인코더와 소프트맥스 출력 레이어를 사용하여 각 순서의 태그 점수를 계산함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 다양한 순서 간의 의존성을 활용하는 구조적 예측 메커니즘을 통해 디코딩 단계에서 다중순위 예측을 통합한다.

실험 결과

연구 질문

• RQ1 LSTM 모델의 순서를 높힘(즉, 더 많은 이전 태그를 모델링함)할수록 구문 분석 및 NER 작업에서 시퀀스 태깅 정확도가 향상되는가?
• RQ2 순수 고순위 LSTM 모델은 태그 간 의존성을 더 많이 포착할 수 있음에도 불구하고, 순서가 증가함에 따라 성능이 저하되는 이유는 무엇인가?
• RQ3 잘라내기 기법을 통해 저순위 및 고순위 모델을 통합하면 확장성은 유지하면서 성능 향상을 이룰 수 있는가?
• RQ4 표준 BiLSTM 모델 대비 MO-BiLSTM가 경계 수준 오류를 얼마나 줄이는가?
• RQ5 장거리 의존성이 핵심적인 장거리 세그먼트 탐지에서 모델의 성능은 어떠한가?

주요 결과

• 순수 단일순서 LSTM 모델은 이론적으로 더 긴 의존성을 모델링할 수 있지만, 순서가 증가함에 따라 성능이 저하됨을 확인하였다.
• MO-BiLSTM는 CoNLL-2000 구문 분석 데이터셋에서 최고 성능(F1 점수 97.42)을 달성하여 기존 방법들을 초월하였다.
• 표준 BiLSTM 대비 경계 인식 오류를 약 40% 감소시켰으며, 특히 장거리 세그먼트 탐지에서 가장 큰 향상이 있었음.
• 장거리 엔티티(5개 이상 토큰)의 경우 오류율이 BiLSTM의 27.42%에서 MO-BiLSTM의 14.52%로 감소하여 강력한 장거리 의존성 학습 능력을 입증함.
• 잘라내기 기법 덕분에 MO-BiLSTM는 학습 중 동적 프로그래밍이 필요 없이도 고순위 모델로의 효율적 확장이 가능함.
• 경계 오류 유형(Boundary-1, Boundary-2, Boundary-3)에서의 큰 향상은 세그먼트 경계 탐지 능력 향상에 기여함을 시사함.