[논문 리뷰] DAG-based Long Short-Term Memory for Neural Word Segmentation

Chen Xin-chi, Zhan Shi외 2명|arXiv (Cornell University)|2017. 07. 02.

Natural Language Processing Techniques참고 문헌 23인용 수 8

한 줄 요약

이 논문은 어휘 사전 위에 방향성 없는 사이클 그래프(DAG)를 구축하여 문자 기반 시퀀스 태깅에 단어 수준의 정보를 통합하는 새로운 신경망 아키텍처인 DAG-LSTM을 제안한다. 모델은 DAG 구조를 가진 LSTM에서 문자와 단어 임베딩을 동시에 활용함으로써 성능을 향상시키며, 세 가지 벤치마크에서 최신 기술 수준의 성능을 달성한다. 특히, 어휘 외 단어(OOV)가 존재하더라도 외부 어휘 사전을 활용해 성능 향상을 얻을 수 있다.

ABSTRACT

Neural word segmentation has attracted more and more research interests for its ability to alleviate the effort of feature engineering and utilize the external resource by the pre-trained character or word embeddings. In this paper, we propose a new neural model to incorporate the word-level information for Chinese word segmentation. Unlike the previous word-based models, our model still adopts the framework of character-based sequence labeling, which has advantages on both effectiveness and efficiency at the inference stage. To utilize the word-level information, we also propose a new long short-term memory (LSTM) architecture over directed acyclic graph (DAG). Experimental results demonstrate that our model leads to better performances than the baseline models.

연구 동기 및 목표

• 문자 기반 신경망 단어 분리 성능을 햖을 때도 효율적인 시퀀스 태깅 프레임워크를 유지하면서 단어 수준의 정보를 통합함으로써 향상시키는 것.
• 기존의 단어 기반 모델에서 범위 검색과 어순 길이 제약의 한계를 해결하기 위해 DAG의 구조를 통해 정확한 추론을 가능하게 하는 것.
• 외부 어휘 사전을 활용해 저자원 또는 도메인 특화 환경(예: 의료 또는 특허 문서)에서 효과적으로 활용할 수 있도록 하는 강건한 드롭아웃 전략을 개발하는 것.
• 기본 모델보다 높은 분할 정확도를 달성하면서도 추론 효율성을 유지하는 것.

제안 방법

• 각 간선이 사전 정의된 어휘에서 온 단어를 나타내는 방향성 없는 사이클 그래프(DAG)를 구축한다. 이 그래프는 문자의 부분 시퀀스를 커버한다.
• DAG 내에서 들어오는 간선의 문자 임베딩과 단어 임베딩을 모두 사용하여 각 위치의 입력을 처리하는 DAG-구조를 가진 장기 순환 신경망(DAG-LSTM)을 설계한다.
• 학습 중에 어휘 내 단어(IV) 드롭아웃 전략을 도입하여 OOV 단어에 대한 강건성과 일반화 능력을 향상시킨다.
• DAG-LSTM을 통해 문자와 단어 간의 문맥적 의존성을 동시에 모델링함으로써 문자 수준과 단어 수준의 표현을 공동으로 학습할 수 있도록 한다.
• 표준 태그(B, M, E, S)를 사용해 단어 경계 탐지용 시퀀스 태깅에 적용함으로써 문자 수준 추론의 효율성을 유지한다.
• 사전 훈련된 문자 임베딩과 외부 코퍼스에서 유도된 단어 임베딩을 활용하여 교차 엔트로피 손실을 사용해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 문자 기반 시퀀스 태깅 프레임워크에 단어 수준의 정보를 효율적인 추론 성능을 희생시키지 않고 효과적으로 통합할 수 있는가?
• RQ2 DAG-LSTM 아키텍처는 표준 LSTM 및 이중어순 모델에 비해 분할 정확도와 OOV 단어에 대한 강건성 측면에서 어떻게 비교되는가?
• RQ3 외부 어휘 사전이 특히 희귀하거나 전문 용어가 많은 도메인 특화 텍스트에서 모델 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 IV 단어 드롭아웃 전략이 단어 임베딩이 필요 없이도 OOV 단어에 대한 일반화 능력을 향상시키는가?
• RQ5 DAG-LSTM은 범위 검색과 어순 길이 제약의 문제를 피하면서도 기존의 단어 기반 모델보다 뛰어난 성능을 달성할 수 있는가?

주요 결과

• DAG-LSTM 모델은 MSRA 데이터셋에서 매크로-F1 점수 96.47을 기록하여 이중어순 기준선(95.71)과 단일어순 기준선(94.14)을 모두 초월한다.
• 전체 어휘를 사용할 경우, MSRA에서 96.47 F1, CTB에서 96.31 F1, PKU에서 95.89 F1를 기록하여 다양한 데이터셋에서 일관된 성능 향상을 보였다.
• 최대 어순 길이 4를 사용한 경우, MSRA에서 96.26 F1를 기록하여 적절히 모델링된 긴 어순이 성능 향상에 크게 기여함을 보여준다.
• 사례 연구 결과, 테스트 어휘를 사용해 DAG를 구축했을 때, 어휘 내 단어(예: 'adulthood')와 OOV 단어(예: 'subsidy rate')를 모두 정확하게 분할하는 것으로 확인되었다.
• IV 단어 드롭아웃 전략을 적용한 경우, 전체 어휘를 사용할 때 OOV 단어에 대해 68.54% F1를 기록하여 희귀어에 대한 강력한 일반화 능력을 보였다.
• 어휘에 포함된 어휘의 수가 많아질수록 성능이 단조롭게 향상되며, 모든 어휘를 사용했을 때 최고의 성능인 96.47 F1에 도달한다.