[논문 리뷰] GCDT: A Global Context Enhanced Deep Transition Architecture for Sequence Labeling

Yijin Liu, Fandong Meng외 4명|arXiv (Cornell University)|2019. 06. 06.

Natural Language Processing Techniques참고 문헌 38인용 수 10

한 줄 요약

이 논문은 시퀀스 태깅을 위한 글로벌 컨텍스트 강화된 딥 트랜지션 아키텍처인 GCDT를 제안한다. 이는 양방향 LSTM 성능을 햖을 상태 전이의 깊이를 증가시키고 문장 수준의 글로벌 컨텍스트를 통합함으로써 향상시킨다. BERT를 외부 자원으로 활용하여 CoNLL03 NER에서 93.47의 F1 점수와 CoNLL2000 Chunking에서 97.30의 F1 점수를 기록하며, 동일한 설정에서 이전 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Current state-of-the-art systems for sequence labeling are typically based on the family of Recurrent Neural Networks (RNNs). However, the shallow connections between consecutive hidden states of RNNs and insufficient modeling of global information restrict the potential performance of those models. In this paper, we try to address these issues, and thus propose a Global Context enhanced Deep Transition architecture for sequence labeling named GCDT. We deepen the state transition path at each position in a sentence, and further assign every token with a global representation learned from the entire sentence. Experiments on two standard sequence labeling tasks show that, given only training data and the ubiquitous word embeddings (Glove), our GCDT achieves 91.96 F1 on the CoNLL03 NER task and 95.43 F1 on the CoNLL2000 Chunking task, which outperforms the best reported results under the same settings. Furthermore, by leveraging BERT as an additional resource, we establish new state-of-the-art results with 93.47 F1 on NER and 97.30 F1 on Chunking.

연구 동기 및 목표

• 양방향 LSTM 기반의 시퀀스 태깅 모델에서 얕은 상태 전이와 부족한 글로벌 컨텍스트 모델링의 한계를 해결하기 위해.
• 각 토큰 위치에서 은닉 상태 간의 전이 경로를 깊이 있게 하여 표현 학습을 향상시키기 위해.
• 전체 문장에서 유도된 글로벌 컨텍스트 임베딩을 통해 로컬 토큰 표현을 향상시키기 위해.
• 작업 특화 또는 대규모 외부 코퍼스가 필요 없이 표준 시퀀스 태깅 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.
• 글로벌 컨텍스트와 딥 트랜지션 구성 요소의 효과성을 부동작 분석을 통해 조사하기 위해.

제안 방법

• 모델은 연속된 은닉 상태 간의 상태 전이 깊이를 증가시켜 더 rich한 표현 학습을 가능하게 하는 딥 트랜지션(DT) RNN 아키텍처를 사용한다.
• 글로벌 컨텍스트 인코더는 입력 시퀀스 전체에 걸친 은닉 상태의 합을 통해 문장 수준의 표현을 계산하며, 이를 토큰 수준 표현과 연결한다.
• 글로벌 컨텍스트 임베딩은 로컬 토큰 표현을 풍부하게 하여 예측 성능 향상에 기여하는 조합적 상호작용을 가능하게 한다.
• 시퀀스 태깅 인코더와 디코더는 CRF 디코딩을 사용하여 레이블 의존성을 모델링하고 시퀀스를 예측한다.
• 모델은 추론 중 Viterbi 디코딩을 사용하는 교차 엔트로피 손실을 통해 엔드 투 엔드로 훈련된다.
• 추가 실험에서 BERT 임베딩을 외부 기능으로 통합하여 성능을 추가로 향상시켰다.

실험 결과

연구 질문

• RQ1 RNN에서 상태 전이 경로를 깊이 있게 하면 시퀀스 태깅 성능이 향상되는가?
• RQ2 문장 수준의 글로벌 컨텍스트 표현을 통합하면 시퀀스 태깅 작업에서 로컬 토큰 표현이 향상되는가?
• RQ3 표준 BiLSTM 또는 GRU 기반 아키텍처와 비교해 글로벌 컨텍스트 인코더는 모델 성능에 어떤 영향을 미치는가?
• RQ4 GCDT를 BERT와 조합하면 NER 및 체킹 작업에서 최신 기술 수준의 결과가 얼마나 향상되는가?
• RQ5 각 구성 요소(글로벌 컨텍스트, 딥 트랜지션, CRF)가 전체 성능 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• GloVe 임베딩과 훈련 데이터만을 사용하여 CoNLL03 NER 작업에서 F1 점수 91.96을 기록하며, 동일한 설정에서 이전 최신 기술 수준 결과를 능가한다.
• 동일한 설정으로 CoNLL2000 체킹 작업에서 F1 점수 95.43을 기록하며, 다시 한번 이전 방법들을 초월한다.
• BERT 임베딩을 통합한 결과, CoNLL03 NER에서 93.47 F1, CoNLL2000 체킹에서 97.30 F1을 기록하며 새로운 최신 기술 수준 결과를 수립한다.
• 부동작 분석 결과, 딥 트랜지션 메커니즘과 글로벌 컨텍스트 인코더 모두 성능 향상에 기여하는 것으로 확인된다.
• 글로벌 컨텍스트 인코더는 GRU를 DT로 교체한 경우에도 성능 향상을 보이며, 이는 그 강건성과 효과성을 시사한다.
• 모델 복잡도 분석 결과, DT는 매개변수 효율성과 성능 면에서 GRU를 능가하며, 특히 글로벌 및 시퀀스 모듈 양쪽 모두에서 사용할 경우 두드러진 성능 향상을 보인다.