[논문 리뷰] Named Entity Recognition with stack residual LSTM and trainable bias decoding

Quan Tran, Andrew MacKinlay외 1명|arXiv (Cornell University)|2017. 06. 23.

Topic Modeling참고 문헌 30인용 수 36

한 줄 요약

이 논문은 CoNLL-2003 데이터셋에서 명명된 실체 인식(NER) 성능을 향상시키기 위해 학습 가능한 바이어스 디코딩을 갖춘 스택 리소스 LSTM 아키텍처를 제안한다. 깊은 RNN에서의 성능 열화 문제를 완화하기 위해 잔차 연결을 도입하고, F-측도 최적화를 위해 미분 가능한 바이어스 디코딩을 사용함으로써, 영어 기준으로 91.69, 스페인어 기준으로 86.00의 최신 기술(SOTA) F1 점수를 달성하여 기존 방법들을 능가한다.

ABSTRACT

Recurrent Neural Network models are the state-of-the-art for Named Entity Recognition (NER). We present two innovations to improve the performance of these models. The first innovation is the introduction of residual connections between the Stacked Recurrent Neural Network model to address the degradation problem of deep neural networks. The second innovation is a bias decoding mechanism that allows the trained system to adapt to non-differentiable and externally computed objectives, such as the entity-based F-measure. Our work improves the state-of-the-art results for both Spanish and English languages on the standard train/development/test split of the CoNLL 2003 Shared Task NER dataset.

연구 동기 및 목표

• 스택된 RNN 레이어 간의 잔차 연결을 도입하여 NER에 사용되는 깊은 RNN에서 발생하는 성능 열화 문제를 해결한다.
• 비미분 가능한 지표인 실체 기반 F-측도 최적화를 가능하게 하기 위해 학습 가능한 바이어스 디코딩 메커니즘을 도입한다.
• 외부 레이블링 데이터나 도메인 특화 기능을 사용하지 않고도 영어 및 스페인어 모두에서 NER 성능을 향상시킨다.
• F-측도 최적화 맥락에서 언어 모델 임베딩을 보조 특징으로 사용할 경우의 영향을 평가한다.

제안 방법

• 깊은 RNN 아키텍처에서 학습 안정성과 기울기 흐름 향상을 위해 스택된 LSTM 레이어 간에 잔차 연결을 도입한다.
• 각 단어의 문자 수준 임베딩을 생성하기 위해 문자 시퀀스에 대해 양방향 RNN(biRNN)을 적용한다.
• 단어 임베딩과 문자 수준 biRNN 출력을 결합하여 주요 RNN-CRF 모델의 입력 특징을 구성한다.
• 외부 F-측도 평가 기반 유한차분 기반 기울기 업데이트를 사용해 최종 CRF 출력 확률을 조정하는 학습 가능한 바이어스 디코딩 레이어를 적용한다.
• CoNLL-2003 평가 스크립트를 사용해 바이어스 파라미터를 훈련하여 F1 점수를 직접 최적화한다.
• 앞서와 뒤로 향한 언어 모델을 추가 특징으로 통합하여, 모델의 문맥 표현을 향상시킨다.

실험 결과

연구 질문

• RQ1 스택된 RNN에서 잔차 연결이 깊은 네트워크의 성능 열화 문제를 완화함으로써 NER 작업 성능 향상에 기여할 수 있는가?
• RQ2 메인 모델을 재학습하지 않고도 비미분 가능한 F-측도 최적화를 위해 미분 가능한 바이어스 디코딩 메커니즘이 효과적으로 작용할 수 있는가?
• RQ3 바이어스 디코딩과 잔차 연결과 함께 사용될 때 언어 모델 임베딩이 NER 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 언어 간 일반화가 가능할까? 특히 영어에 비해 자원이 적은 환경인 스페인어에서의 성능은 어떠한가?
• RQ5 학습 동역학과 기울기 노이즈는 학습 가능한 바이어스 디코딩 과정의 수렴성과 안정성에 어떤 영향을 미치는가?

주요 결과

• 학습 가능한 바이어스 디코딩을 갖춘 제안된 스택 리소스 LSTM은 영어 CoNLL-2003 테스트 세트에서 91.69의 새로운 최신 기술 F1 점수를 달성하여 이전 최신 기술 결과를 초월한다.
• 스페인어의 경우, Lample 등(2016)이 보고한 이전 최신 기술 결과인 85.75보다 뚜렷한 향상인 F1 점수 86.00을 기록한다.
• 앞서와 뒤로 향한 언어 모델의 추가로 성능이 향상되며, 영어 F1은 91.69로 상승하고 스페인어 F1은 약간 감소하여 언어 모델 품질에 따른 영향이 있음을 시사한다.
• 학습 가능한 바이어스 디코딩 메커니즘이 두 언어 모두에서 일관되게 성능 향상을 이끌어내지만, 이는 노이즈가 많은 수치적 기울기로 인해 상대적으로 작은 성과를 기록한다.
• 언어 모델 임베딩은 반대 방향의 영향을 보이며, 영어 성능 향상에 기여하지만 스페인어 성능은 저하된다. 이는 영어 언어 모델의 퍼플렉서티가 낮고 품질이 높기 때문일 것이다.
• 바이어스 값 분석 결과, 정밀도나 재현율을 선호하는 명확한 경향이 없음을 확인하여, 기존의 임계치 설정 방식처럼 정밀도-재현율 트레이드오프를 단순히 이동시키는 것이 아님을 시사한다.