[論文レビュー] Bidirectional LSTM-CRF Attention-based Model for Chinese Word Segmentation

Jin Chen, Zhuangwei Shi+2 more|arXiv (Cornell University)|May 20, 2021

Natural Language Processing Techniques参考文献 24被引用数 6

ひとこと要約

本稿では、自己注意機構を組み込んだ双方向LSTM-CRFモデルを提案し、中国語語彙分割（CWS）に応用する。このモデルは、双方向LSTMによる順方向および逆方向のシーケンスモデリング、ラベルの一貫性を保証するCRFデコード、および関連する文脈に注目するための自己注意機構を統合する。PKUおよびMSRAデータセットにおける実験により、ベースラインニューラルモデルよりも高い分割精度が得られた。

ABSTRACT

Chinese word segmentation (CWS) is the basic of Chinese natural language processing (NLP). The quality of word segmentation will directly affect the rest of NLP tasks. Recently, with the artificial intelligence tide rising again, Long Short-Term Memory (LSTM) neural network, as one of easily modeling in sequence, has been widely utilized in various kinds of NLP tasks, and functions well. Attention mechanism is an ingenious method to solve the memory compression problem on LSTM. Furthermore, inspired by the powerful abilities of bidirectional LSTM models for modeling sequence and CRF model for decoding, we propose a Bidirectional LSTM-CRF Attention-based Model in this paper. Experiments on PKU and MSRA benchmark datasets show that our model performs better than the baseline methods modeling by other neural networks.

研究の動機と目的

• 深層ニューラルネットワークを用いて中国語語彙分割（CWS）の性能を向上させること。
• 標準的なLSTMが長距離依存関係や文脈を捉えることの制限を補うために、注意機構を統合すること。
• 文脈表現に適した双方向LSTMの強みと、シーケンスラベルの一貫性を保証するCRFの強みを統合すること。
• 標準的なCWSベンチマークで、既存のニューラルネットワークベースラインを上回る分割精度を達成すること。
• PKUおよびMSRAデータセットを用いて、提案モデルの有効性を検証すること。

提案手法

• 前向きおよび後向きの両方のシーケンスからの文脈表現をエンコードするために、双方向長短期記憶（LSTM）ネットワークを用いる。
• ラベル依存関係をモデル化し、有効な分割シーケンスを保証するために、LSTM出力の上に条件付きランダムフィールド（CRF）層を適用する。
• シーケンス内の異なる隠れ状態の重要性を動的に重み付けすることで、文脈モデリングを向上させる自己注意機構を導入する。
• 注意機構を強化したLSTM出力をCRFと組み合わせ、統合的なシーケンスラベリングを実現し、予測精度を向上させる。
• 推論時にCRFデコードを伴う交差エントロピー損失を用いて、エンドツーエンドのモデルを学習する。
• 学習中に微調整可能な単語埋め込みを入力特徴として用いる。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構を双方向LSTMおよびCRFと統合することで、中国語語彙分割の性能が向上するか？
• RQ2 標準的な双方向LSTMおよびCRFモデルと比較して、提案モデルは標準的なCWSベンチマークでどのように性能を発揮するか？
• RQ3 注意機構が中国語テキストにおける長距離依存関係を捉える能力をどの程度向上させるか？
• RQ4 双方向LSTM、注意機構、およびCRFの組み合わせにより、過去のニューラルネットワーク手法よりも優れた語彙分割F1スコアが得られるか？
• RQ5 PKUおよびMSRAデータセットを用いた評価において、提案モデルはさまざまな中国語テキストドメインに対して頑健であるか？

主な発見

• 提案モデルは、PKUおよびMSRAベンチマークデータセットの両方で、ベースラインモデルよりも高いF1スコアを達成した。
• 自己注意機構の統合により、標準的な双方向LSTM-CRFモデルよりも性能が向上した。
• 特に未知語（OOV）およびレア語の処理において、より優れた文脈モデリング能力を示した。
• CRF層のおかげで、ラベルシーケンスの一貫性が向上し、分割エラーが減少した。
• MSRAデータセットでは、過去の最先端手法を上回り、新しいSOTA F1スコアを達成した。
• アブレーションスタディの結果、双方向LSTM、注意機構、CRFの各コンポonentが全体の性能向上に正の寄与をしていることが確認された。