[論文レビュー] Chinese Lexical Analysis with Deep Bi-GRU-CRF Network

Zhenyu Jiao, Shuqi Sun+1 more|arXiv (Cornell University)|Jul 5, 2018

Natural Language Processing Techniques参考文献 13被引用数 43

ひとこと要約

この論文は、中国語の単語分割、品詞タグ付け、NERを同時に実行する深層スタック型 Bi-GRU-CRF モデルを提案し、疑似注釈付きコーパスと小規模な人手注釈コーパスで学習させ、既存のオンラインシステムと比較して状態に近い性能と推論の高速化を達成している。

ABSTRACT

Lexical analysis is believed to be a crucial step towards natural language understanding and has been widely studied. Recent years, end-to-end lexical analysis models with recurrent neural networks have gained increasing attention. In this report, we introduce a deep Bi-GRU-CRF network that jointly models word segmentation, part-of-speech tagging and named entity recognition tasks. We trained the model using several massive corpus pre-tagged by our best Chinese lexical analysis tool, together with a small, yet high-quality human annotated corpus. We conducted balanced sampling between different corpora to guarantee the influence of human annotations, and fine-tune the CRF decoding layer regularly during the training progress. As evaluated by linguistic experts, the model achieved a 95.5% accuracy on the test set, roughly 13% relative error reduction over our (previously) best Chinese lexical analysis tool. The model is computationally efficient, achieving the speed of 2.3K characters per second with one thread.

研究の動機と目的

• パイプラインにおける誤伝播の低減と統合の複雑さの軽減を目的とした、中国語語彙分析の統一的なエンドツーエンドアプローチを動機づける。
• 単語分割、品詞タグ付け、NERを共同で学習する深い Bi-GRU-CRF モデルを開発する。
• 大規模な疑似注釈コーパスと小規模な人手注釈コーパスを組み合わせてモデルを訓練・正則化する。
• 言語学の専門家と対照して精度を評価し、既存の Baidu オンラインシステムと比較する。
• デプロイに適した速度とメモリフットプリントの観点で効率性を示す。

提案手法

• 手作業の特徴量を使わず、2つのスタック型 Bi-GRU 層を用いて文字列をエンコードする。
• IOB2スタイルのタグでラベル列を共同デコードする CRF デコード層を付加する。
• 疑似注釈データと人手注釈データを混合したコーパスで最大条件付き尤度で学習し、人手注釈コーパスを過サンプリングする。
• 訓練中に人間コーパスのラベル付き遷移を用いてCRFデコード層を微調整する。
• デコード時にIOB2に基づく厳格な制約を課し、有効なタグ列を強制する。

実験結果

リサーチクエスチョン

• RQ1 深い Bi-GRU-CRF モデルは、中国語の語彙分割、品詞タグ付け、NERを競争力のある精度で共同実行できるか。
• RQ2 結合モデルは精度と効率の点で従来の Baidu オンラインシステムとどう比較されるか。
• RQ3 小さな人手注釈コーパスを取り入れることで、デコード遷移と全体の性能が向上するか。
• RQ4 大規模でリアルタイムまたは準リアルタイム処理に十分なメモリ効率と高速性を備えているか。

主な発見

Model	Acc	Precision	Recall	F1-Score
Online system	0.948
Bi-GRU-CRF	0.955	0.903	0.854	0.878

• Bi-GRU-CRF モデルはテストセットで 95.5% の精度を達成し、従来のオンラインシステムを約 0.7% 上回る。
• NER では、Precision 0.903、Recall 0.854、F1-Score 0.878 を達成し、指標を横断してオンラインシステムに近いまたは上回る。
• エンドツーエンドのモデルは 2.3K characters per second を処理し、メモリ使用量は 100 MB 未満。
• 指定されたベンチマークで、オンラインシステムと比較して Bi-GRU-CRF は処理速度が 57% 高速。
• 訓練には、学習を正則化し遷移確率を改善するために大規模な疑似注釈コーパスと小さな人手注釈コーパスを使用する。
• このアプローチは、複雑なマルチモデル統合の必要性を減らす、コンパクトな単一モデルの解を提供する。