[논문 리뷰] Subword Encoding in Lattice LSTM for Chinese Word Segmentation

Jie Yang, Yue Zhang외 1명|arXiv (Cornell University)|2018. 10. 30.

Natural Language Processing Techniques인용 수 36

한 줄 요약

이 논문은 중국어 형태소 분석을 위한 레이티스 장기 단기 기억(LSTM) 네트워크를 제안하며, 하위단어 인코딩을 통해 문자 수준의 특징과 하위단어 또는 단어 수준의 부분열을 게이트 제어 경로를 통해 통합한다. 실험 결과, 외부 분할기의 의존 없이도 하위단어 인코딩이 단어 인코딩과 비교할 만한 성능을 달성하며, 통제된 분석에서 사전 정보가 사전 학습된 임베딩보다 더 큰 기여를 한다고 밝혔다.

ABSTRACT

We investigate a lattice LSTM network for Chinese word segmentation (CWS) to utilize words or subwords. It integrates the character sequence features with all subsequences information matched from a lexicon. The matched subsequences serve as information shortcut tunnels which link their start and end characters directly. Gated units are used to control the contribution of multiple input links. Through formula derivation and comparison, we show that the lattice LSTM is an extension of the standard LSTM with the ability to take multiple inputs. Previous lattice LSTM model takes word embeddings as the lexicon input, we prove that subword encoding can give the comparable performance and has the benefit of not relying on any external segmentor. The contribution of lattice LSTM comes from both lexicon and pretrained embeddings information, we find that the lexicon information contributes more than the pretrained embeddings information through controlled experiments. Our experiments show that the lattice structure with subword encoding gives competitive or better results with previous state-of-the-art methods on four segmentation benchmarks. Detailed analyses are conducted to compare the performance of word encoding and subword encoding in lattice LSTM. We also investigate the performance of lattice LSTM structure under different circumstances and when this model works or fails.

연구 동기 및 목표

• 레이티스 LSTM에서 하위단어 인코딩의 효과성을 조사하여, 외부 분할기 의존을 피하는 것.
• 전통적인 단어 임베딩 기반 레이티스 LSTM과의 성능 및 내성적 안정성 측면에서 하위단어 인코딩을 비교하는 것.
• 레이티스 LSTM 모델에서 사전 유래 정보와 사전 학습된 임베딩 간의 상대적 기여도를 분석하는 것.
• 다양한 데이터셋에서 하위단어/단어 커버리지가 모델 성능에 미치는 영향을 평가하는 것.
• 레이티스 LSTM의 게이트 제어 메커니즘의 한계를 분석하고 실패 케이스를 규명하는 것.

제안 방법

• 레이티스 LSTM 아키텍처는 표준 LSTM에 하위단어 또는 단어 수준의 부분열(단어 또는 하위단어)의 시작 및 끝 문자를 연결하는 게이트 제어 경로를 추가하여 확장한다.
• 하위단어 임베딩은 바이트 쌍 인코딩(BPE) 알고리즘을 사용하여 사전에 분할된 코퍼스에 의존하지 않도록 생성된다.
• 최종 은닉 상태는 문자 LSTM 출력과 모든 게이트 제어 경로의 가중 평균으로 계산되며, 게이트가 각 경로의 기여도를 제어한다.
• 모델은 문자 시퀀스에 대해 엔드 투 엔드로 훈련되며, 레이티스 경로는 입력 문장을 하위단어 또는 단어 사전과 매칭하여 동적으로 구성된다.
• 통제된 실험을 통해 사전과 사전 학습된 임베딩 각각의 기여도를 분리하여 분석한다.
• 사례 연구를 통해 단어 기반 및 하위단어 기반 레이티스 모델의 실패 모드를 분석하여 게이트 제어 메커니즘의 내성적 안정성 평가

실험 결과

연구 질문

• RQ1 레이티스 LSTM에서 하위단어 인코딩이 중국어 형태소 분석에서 단어 인코딩과 비교해 유사한 성능을 달성할 수 있는가?
• RQ2 하위단어 인코딩은 레이티스 LSTM의 사전을 구성하기 위해 외부 분할기가 필요 없도록 하는가?
• RQ3 레이티스 LSTM에서 사전 기반 정보와 사전 학습된 임베딩의 기여도는 어떻게 비교되는가?
• RQ4 하위단어/단어 커버리지가 레이티스 LSTM 모델의 성능 향상에 어느 정도 기여하는가?
• RQ5 레이티스 LSTM의 게이트 제어 메커니즘이 어떤 상황에서 실패하며, 그 이유는 무엇인가?

주요 결과

• 레이티스 LSTM에서 하위단어 인코딩은 네 개의 CWS 벤치마크에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성하며, 단어 기반 모델의 결과와 유사하거나 이를 초월한다.
• MSR 및 Weibo 데이터셋에서 하위단어 커버리지가 낮음에도 불구하고, 하위단어 기반 레이티스 LSTM이 단어 기반 모델보다 뛰어난 성능을 보이며, 하위단어 임베딩의 저커버리지 상황에서도 강건함을 입증한다.
• 통제된 실험 결과, 사전에서 유래한 정보가 사전 학습된 임베딩보다 더 큰 기여를 하며, 도메인 특화 사전의 중요성을 강조한다.
• 높은 하위단어/단어 커버리지는 일관되게 성능 향상에 기여하며, PKU/MSR 데이터셋에서 90% 이상의 커버리지가 달성될 경우 뚜렷한 오류 감소 효과를 보였다.
• 사례 연구 결과, 게이트 제어 메커니즘은 효과적이지만 완벽하지 않음을 확인했다: 단어 기반 모델은 '성일'과 같이 노이즈가 있는 매칭에 의해 오도될 수 있으나, 하위단어 기반 모델은 핵심 하위단어가 누락되거나 모호할 경우 실패한다.
• 레이티스 LSTM 아키텍처는 커버리지와 임베딩 품질이 모두 높을 때 가장 효과적이며, 도메인 특화 사전을 활용한 다중 도메인 시퀀스 레이블링에 큰 잠재력을 보였다.