[논문 리뷰] Adversarial Multi-Criteria Learning for Chinese Word Segmentation

Xinchi Chen, Zhan Shi외 2명|arXiv (Cornell University)|2017. 04. 25.

Natural Language Processing Techniques참고 문헌 25인용 수 32

한 줄 요약

이 논문은 공유-개별 딥 네ural 네트워크를 사용하여 8개의 다양한 분할 기준을 가진 고전 자료를 동시에 학습함으로써 중국어 어절 분할(CWS)을 위한 적대적 다기준 학습을 제안한다. 공유 레이어가 적대적 학습을 통해 기준에 영향을 받지 않는 특징을 학습하도록 강제함으로써, 모든 데이터셋에서 F1 점수 향상이 뚜렷하게 이루어졌으며, 이는 이질적인 고전 자료에서의 공유 지식이 CWS 성능을 향상시킬 수 있음을 보여주며, 특히 간체자와 번체자 간 전이 시에 효과적임을 시사한다.

ABSTRACT

Different linguistic perspectives causes many diverse segmentation criteria for Chinese word segmentation (CWS). Most existing methods focus on improve the performance for each single criterion. However, it is interesting to exploit these different criteria and mining their common underlying knowledge. In this paper, we propose adversarial multi-criteria learning for CWS by integrating shared knowledge from multiple heterogeneous segmentation criteria. Experiments on eight corpora with heterogeneous segmentation criteria show that the performance of each corpus obtains a significant improvement, compared to single-criterion learning. Source codes of this paper are available on Github.

연구 동기 및 목표

• 중국어 NLP 고전 자료 간 일관되지 않은 분할 기준으로 인해 데이터 재사용과 모델 일반화가 제한되는 문제를 해결하기 위해.
• 이질적인 분할 기준 간 공통적인 언어학적 지식이 존재하는지, 그리고 이를 CWS 성능 향상에 활용할 수 있는지 탐색하기 위해.
• 수작업 특징이나 얕은 아키텍처에 의존하지 않고도 다수의 기준을 효과적으로 통합할 수 있는 딥 러닝 프레임워크를 개발하기 위해.
• 공유 표현을 사용하여 간체자와 번체자 고전 자료 간 언어 간 전이를 탐구하기 위해.
• 적대적 학습이 다기준 CWS 환경에서 기준에 영향을 받지 않는 특징을 효과적으로 추출할 수 있는지 증명하기 위해.

제안 방법

• 모델은 다중 작업 학습 프레임워크에서 공유-개별 아키텍처를 사용하며, 공유 레이어는 기준에 영향을 받지 않는 특징을 학습하고, 개별 레이어는 기준에 특화된 표현을 학습한다.
• 시퀀스적 의존성을 모델링하기 위해 Bi-LSTM 네트워크를 특징 추출기로 사용한다.
• 공유 레이어에 대해 적대적 학습을 적용한다: 분류기는 서로 다른 기준에서 온 특징를 구분하도록 훈련되고, 공유 인코더는 분류기를 속이도록 훈련되어 기준에 영향을 받지 않는 특징 학습을 촉진한다.
• 교차 엔트로피 손실과 적대적 손실을 결합한 새로운 목적 함수를 사용하여 분할 정확도와 특징의 불변성을 동시에 최적화한다.
• 모델은 간체자와 번체자 텍스트를 포함한 다양한 분할 표준을 가진 8개의 고전 자료에서 훈련된다.
• 전이 학습은 간체자 고전 자료에서 사전 훈련한 후, 공유 가중치를 동결한 상태에서 번체자 고전 자료에서 미세 조정함으로써 평가된다.

실험 결과

연구 질문

• RQ1 다양한 이질적인 분할 기준 간 공유 특징가 중국어 어절 분할 성능 향상에 기여할 수 있는가?
• RQ2 다기준 CWS 환경에서 적대적 학습이 기준에 영향을 받지 않는 특징를 효과적으로 추출하는가?
• RQ3 간체자 고전 자료에서 학습한 지식이 번체자 CWS 작업의 성능 향상에 기여하는가?
• RQ4 공식적이고 뉴스 기반의 고전 자료에서 훈련하면 비공식적이고 블로그 스타일의 텍스트에서의 성능 향상이 이루어지는가?
• RQ5 다양한 공유-개별 모델 아키텍처는 기준 간 성능과 일반화 능력 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 적대적 다기준 학습 모델은 단일 기준 학습 기반선 대비 모든 8개의 고전 자료에서 F1 점수 향상이 뚜렷하게 이루어졌다.
• 평균적으로, 다섯 개인 간체자 고전 자료에서 세 개의 번체자 고전 자료로 지식을 전이할 때 F1 점수는 0.41% 향상되었다.
• 8개의 공식적 고전 자료에서 사전 훈련한 후 NLPCC 2016 블로그 텍스트 데이터셋에서 F1 점수는 0.30% 향상되었으며, OOV 재현율은 3.97% 증가했다.
• 적대적 학습 전략은 공유 레이어가 분할 기준에 영향을 받지 않는 특징를 학습하도록 효과적으로 유도하여 일반화 능력을 향상시켰다.
• 공유-개별 아키텍처는 개별 레이어가 없는 간단한 모델보다 성능이 뛰어나, 공유 및 기준에 특화된 표현을 분리하는 것이 유익함을 확인했다.
• 결과는 번체자 CWS가 간체자에서 학습한 지식으로부터 상당한 이점을 얻을 수 있음을 보여주며, 반대로 간체자 CWS도 마찬가지로 이점을 얻을 수 있음을 시사하여 스크립트 간 전이의 가치를 입증했다.