[論文レビュー] A Gap-Based Framework for Chinese Word Segmentation via Very Deep Convolutional Networks

Zhiqing Sun, Gehui Shen+1 more|arXiv (Cornell University)|Dec 27, 2017

Natural Language Processing Techniques参考文献 25被引用数 9

ひとこと要約

本稿では、非常に深い畳み込みネットワーク（ResNetsおよびDenseNets）を用いて、文字の間隔で直接分割意思決定を予測する、ギャップベースのフレームワークを提案する。このフレームワークは、後処理やビームサーチを必要とせず、5つのベンチマークで最先端の性能を達成し、純粋な教師あり設定において、文字ベースおよび語彙ベースの手法を上回る。

ABSTRACT

Most previous approaches to Chinese word segmentation can be roughly classified into character-based and word-based methods. The former regards this task as a sequence-labeling problem, while the latter directly segments character sequence into words. However, if we consider segmenting a given sentence, the most intuitive idea is to predict whether to segment for each gap between two consecutive characters, which in comparison makes previous approaches seem too complex. Therefore, in this paper, we propose a gap-based framework to implement this intuitive idea. Moreover, very deep convolutional neural networks, namely, ResNets and DenseNets, are exploited in our experiments. Results show that our approach outperforms the best character-based and word-based methods on 5 benchmarks, without any further post-processing module (e.g. Conditional Random Fields) nor beam search.

研究の動機と目的

• 文字ベースおよび語彙ベースのニューラルモデルが中国語語彙分割（CWS）において抱える限界を克服し、より単純で直感的なフレームワークを提案すること。
• 文字間のギャップで直接分割意思決定をモデル化することで、CRFや構造的推論などの後処理モジュールの必要性を排除すること。
• 非常に深い畳み込みネットワーク（ResNetsおよびDenseNets）を活用し、浅いモデルよりも効果的に階層的な文字組み合わせ特徴を捉えること。
• 従来の最先端の教師あり手法を上回る、効率的かつ高効果なエンドツーエンドのベースラインを確立すること。

提案手法

• モデルは、連続する文字の間隔ごとに二値分類タスクとして中国語語彙分割を扱い、語彙境界が存在するかどうかを予測する。
• ユニグラムおよびビグラムの文字特徴に対して別々の学習済み埋め込みを用い、それを深層ネットワークの入力として連結する。
• 非常に深い残差ブロックおよび密集ブロックを用いて、多段階の文字組み合わせ特徴を抽出し、勾配の流れを改善するとともに、特徴の再利用を促進する。
• 再帰的または遷移ベースのコンponentsを含まない完全畳み込みアーキテクチャを採用することで、エンドツーエンドの学習および推論を可能にする。
• ギャップレベルの予測に対して交差エントロピー損失を用いて学習し、構造的予測やデコードステップを回避する。
• 現代のコンピュータビジョンモデル（ResNet、DenseNet）をインspirationとし、その残差および密集接続パターンを系列分割に応用する。

実験結果

リサーチクエスチョン

• RQ1 直接的なギャップベースの予測フレームワークは、従来の文字ベースおよび語彙ベースのニューラルモデルを上回ることができるか？
• RQ2 非常に深い畳み込みネットワーク（ResNetsおよびDenseNets）は、CWSにおける特徴表現および分割精度を向上させることができるか？
• RQ3 エンドツーエンドのフレームワークは、CRFやビームサーチなどの後処理モジュールを不要としつつ、性能を維持または向上させることができるか？
• RQ4 ギャップベースのアプローチは、複数のベンチマークで最先端の教師ありおよび半教師ありモデルと比較してどうなるか？

主な発見

• 提案されたギャップベースのフレームワークは、CTB6、PKU、MSR、AS、CityUの5つのベンチマークすべてで最先端の性能を達成し、以前の最良の教師あり手法を上回った。
• CTB6ではF1スコア97.45を達成し、純粋な教師ありモデルとしての新記録を樹立した。
• SIGHAN 2005ベンチマーク（PKU、MSR、AS、CityU）において、CRFやビームサーチを用いた手法を含め、すべての従来の文字ベースおよび語彙ベースの手法を上回った。
• CTB6、AS、CityUでは、最良の半教師あり手法と同等の結果を達成し、優れた一般化性能を示した。
• 非常に深いネットワーク（ResNetおよびDenseNetブロック）の使用により顕著な性能向上が得られ、より深いアーキテクチャがCWSにおいて有益であることが確認された。
• 複雑な後処理やデコード機構の必要性が排除され、学習および推論が簡素化されつつも、高い精度を維持した。