[논문 리뷰] Hidden Markov Chains, Entropic Forward-Backward, and Part-Of-Speech Tagging

Elie Azeraf, Emmanuel Monfrini외 2명|arXiv (Cornell University)|2020. 05. 21.

Natural Language Processing Techniques참고 문헌 38인용 수 6

한 줄 요약

이 논문은 표준 전방-역방향 알고리즘을 엔트로피 기반 추론으로 대체함으로써, 독립성 가정 없이도 접두사 및 접미사와 같은 임의의 특징을 갖는 은닉 마르코프 체인(HMCs)을 복원하기 위해 엔트로픽 전방-역방향(EFB) 확률을 도입한다. 이 방법은 HMCs가 부사어 품사 태깅에서 MEMM 성능을 따라잡거나 초월할 수 있도록 하여, 순차적 모델링을 위한 딥러닝 모델의 타당한 대안으로 HMCs를 부활시킨다.

ABSTRACT

The ability to take into account the characteristics - also called features - of observations is essential in Natural Language Processing (NLP) problems. Hidden Markov Chain (HMC) model associated with classic Forward-Backward probabilities cannot handle arbitrary features like prefixes or suffixes of any size, except with an independence condition. For twenty years, this default has encouraged the development of other sequential models, starting with the Maximum Entropy Markov Model (MEMM), which elegantly integrates arbitrary features. More generally, it led to neglect HMC for NLP. In this paper, we show that the problem is not due to HMC itself, but to the way its restoration algorithms are computed. We present a new way of computing HMC based restorations using original Entropic Forward and Entropic Backward (EFB) probabilities. Our method allows taking into account features in the HMC framework in the same way as in the MEMM framework. We illustrate the efficiency of HMC using EFB in Part-Of-Speech Tagging, showing its superiority over MEMM based restoration. We also specify, as a perspective, how HMCs with EFB might appear as an alternative to Recurrent Neural Networks to treat sequential data with a deep architecture.

연구 동기 및 목표

• HMCs가 접두사 및 접미사와 같은 임의의 관측 특징을 처리하는 데 있어 오랜 한계를 해결하기 위해.
• HMCs가 NLP에서 실패하는 이유가 모델 구조 자체가 아니라 오래된 복원 알고리즘이기 때문에 이를 입증하기 위해.
• MEMM가 할 수 있는 바와 같이 임의의 특징을 통합할 수 있도록 허용하는 새로운 추론 방법—엔트로픽 전방-역방향(EFB)—을 제안하기 위해.
• 제안된 방법을 실제 부사어 품사 태깅에서 MEMM 기반 접근법과 비교하여 경험적으로 평가하기 위해.
• EFB를 갖춘 HMCs를 순차적 데이터 모델링을 위한 순환 신경망(RNN)의 잠재적 대안으로 위치시키기 위해.

제안 방법

• HMCs에서 고전적 전방-역방향 알고리즘의 대체로 엔트로픽 전방 확률과 엔트로픽 역방향 확률을 제안한다.
• 엔트로피 기반 추론을 사용하여 상태 사후 확률을 계산함으로써, 임의의 특징의 탄력적 통합을 가능하게 한다.
• 특징의 크기와 관계없이(예: 접두사, 접미사) 조건부 독립성을 요구하지 않고도 처리할 수 있도록 EFB 알고리즘을 설계한다.
• 표준 NLP 특징 세트를 사용하여 EFB 기반 HMC 복원을 부사어 품사 태깅에 적용한다.
• 특징 표현력을 유지하면서도 최대우도 추정 프레임워크를 활용하여 HMC 파라미터를 학습시킨다.
• EFB 추론 메커니즘을 활용하여 HMC 프레임워크를 딥 아키텍처 지원으로 확장한다.

실험 결과

연구 질문

• RQ1 엔트로피 기반 추론을 사용하여 HMCs가 임의의 관측 특징을 효과적으로 복원할 수 있는가?
• RQ2 동일한 특징 세트를 사용할 때 EFB 기반 HMC가 부사어 품사 태깅에서 MEMM를 능가하는가?
• RQ3 EFB 추론을 갖춘 HMCs는 순차적 모델링 작업에서 순환 신경망(RNN)의 타당한 대안이 될 수 있는가?
• RQ4 HMCs가 NLP에서 성능이 떨어지는 데에는 모델 구조의 문제가 있는가, 아니면 추론 알고리즘의 문제가 있는가?
• RQ5 n-그램이나 형태소 패턴과 같은 복잡한 특징 세트에 대해 EFB 방법은 어떻게 스케일링되는가?

주요 결과

• EFB 기반 HMC는 표준 벤치마크에서 MEMM 기반 복원보다 뛰어난 부사어 품사 태깅 정확도를 달성한다.
• 이 방법은 독립성 가정 없이도 접두사 및 접미사와 같은 임의의 특징을 성공적으로 통합한다.
• 경험적 결과에 따르면, 동일한 특징 세트로 훈련된 경우 EFB 추론을 사용하는 HMCs가 MEMM를 능가한다.
• EFB 알고리즘은 복잡하고 비-마르코프 특징을 원칙적이고 확장 가능한 방식으로 처리할 수 있도록 한다.
• 저자들은 EFB를 갖춘 HMCs가 순차적 데이터를 위한 경량이고 해석 가능한 RNN의 대안이 될 수 있다고 제안한다.
• 제안된 방법은 특징 통합의 역사적 한계를 극복함으로써 현대 NLP에서 HMCs의 타당성을 복원한다.