[논문 리뷰] A Gap-Based Framework for Chinese Word Segmentation via Very Deep Convolutional Networks

Zhiqing Sun, Gehui Shen외 1명|arXiv (Cornell University)|2017. 12. 27.

Natural Language Processing Techniques참고 문헌 25인용 수 9

한 줄 요약

이 논문은 매우 깊은 컨볼루션 네트워크(ResNets와 DenseNets)를 사용하여 문자 간격에서 분할 결정을 직접 예측하는 갭 기반 프레임워크를 제안하며, 후처리 또는 비드 탐색 없이 다섯 가지 벤치마크에서 최신 기술 수준의 성능을 달성하여 순수 지도 학습 설정에서 문자 기반 및 단어 기반 방법을 모두 능가한다.

ABSTRACT

Most previous approaches to Chinese word segmentation can be roughly classified into character-based and word-based methods. The former regards this task as a sequence-labeling problem, while the latter directly segments character sequence into words. However, if we consider segmenting a given sentence, the most intuitive idea is to predict whether to segment for each gap between two consecutive characters, which in comparison makes previous approaches seem too complex. Therefore, in this paper, we propose a gap-based framework to implement this intuitive idea. Moreover, very deep convolutional neural networks, namely, ResNets and DenseNets, are exploited in our experiments. Results show that our approach outperforms the best character-based and word-based methods on 5 benchmarks, without any further post-processing module (e.g. Conditional Random Fields) nor beam search.

연구 동기 및 목표

• 문자 기반 및 단어 기반 신경 모델의 중국어 단어 분할 한계를 해결하기 위해 더 단순하고 직관적인 프레임워크를 제안한다.
• 문자 간격에서 분할 결정을 직접 모델링하여 CRF나 구조적 추론과 같은 후처리 모듈이 필요 없도록 한다.
• 매우 깊은 컨볼루션 네트워크(ResNets와 DenseNets)를 활용하여 얕은 모델보다 계층적인 문자 조합 특징을 더 효과적으로 포착한다.
• 기존 최신 기술 수준의 지도 학습 방법을 능가하는 효율적이고 높은 성능을 보이는 종단간(end-to-end) 기준선을 수립한다.

제안 방법

• 모델은 연속된 문자 간격에서 각각 이진 분류 문제로 중국어 단어 분할을 간주하며, 단어 경계가 존재하는지 여부를 예측한다.
• 일반자 및 이중자 특징에 대해 별도의 학습 가능한 임베딩을 사용하며, 이를 연결하여 깊은 네트워크의 입력으로 활용한다.
• 다양한 수준의 문자 조합 특징을 추출하기 위해 매우 깊은 잔차 블록과 응집 블록을 활용하여 더 나은 기울기 흐름과 특징 재사용을 가능하게 한다.
• 순환 또는 전이 기반 구성 요소가 없는 완전히 컨볼루션 아키텍처를 사용하여 종단간 학습 및 추론을 가능하게 한다.
• 구조적 예측이나 디코딩 단계 없이 갭 수준 예측에 대해 교차 엔트로피 손실을 사용하여 학습한다.
• 현대 컴퓨터 비전 모델(ResNet, DenseNet)에서 영감을 얻어, 이들의 잔차 및 응집 연결 패턴을 시퀀스 분할에 적용한다.

실험 결과

연구 질문

• RQ1 직접적인 갭 기반 예측 프레임워크가 기존의 문자 기반 및 단어 기반 신경 모델보다 중국어 단어 분할에서 더 나은 성능을 낼 수 있는가?
• RQ2 매우 깊은 컨볼루션 네트워크(ResNets와 DenseNets)의 사용이 CWS에서 특징 표현과 분할 정확도를 향상시키는가?
• RQ3 종단간 프레임워크가 CRF나 비드 탐색과 같은 복잡한 후처리 모듈이 필요 없이 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 다양한 벤치마크에서 갭 기반 접근 방식이 최신 기술 수준의 지도 및 준지도 학습 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 갭 기반 프레임워크는 CTB6, PKU, MSR, AS, CityU의 다섯 가지 모든 벤치마크에서 최신 기술 수준의 성능을 달성하며, 이전의 최고 지도 학습 방법을 초월한다.
• CTB6에서 F1 스코어 97.45를 기록하여 순수 지도 학습 모델로서 새로운 최신 기술 수준을 수립한다.
• SIGHAN 2005 벤치마크(PKU, MSR, AS, CityU)에서 CRF나 비드 탐색을 사용하는 모든 이전의 문자 기반 및 단어 기반 방법을 능가한다.
• CTB6, AS, CityU에서 최고 준지도 학습 방법과 경쟁 가능한 성능을 기록하여 뛰어난 일반화 능력을 입증한다.
• 매우 깊은 네트워크(ResNet 및 DenseNet 블록)의 사용은 성능 향상에 기여하며, 더 깊은 아키텍처가 CWS에 유리함을 확인한다.
• 복잡한 후처리 또는 디코딩 메커니즘의 필요성을 제거하여 학습 및 추론을 단순화하면서도 높은 정확도를 유지한다.