[論文レビュー] F-Score Driven Max Margin Neural Network for Named Entity Recognition in Chinese Social Media

Hangfeng He, Xu Sun|arXiv (Cornell University)|Nov 14, 2016

Topic Modeling参考文献 25被引用数 9

ひとこと要約

本稿では、中国語SNSの命名エンティティ認識（NER）のためのFスコア駆動型最大マージンニューラルネットワークを提案する。B-LSTMと遷移確率を統合し、半教師あり学習を用いることでF1スコアを向上させる。Fスコアとラベル正答率の両方を同時に最適化することで、最先端の性能を達成し、全般的なF1スコアは54.82%を記録した。

ABSTRACT

We focus on named entity recognition (NER) for Chinese social media. With massive unlabeled text and quite limited labelled corpus, we propose a semi-supervised learning model based on B-LSTM neural network. To take advantage of traditional methods in NER such as CRF, we combine transition probability with deep learning in our model. To bridge the gap between label accuracy and F-score of NER, we construct a model which can be directly trained on F-score. When considering the instability of F-score driven method and meaningful information provided by label accuracy, we propose an integrated method to train on both F-score and label accuracy. Our integrated model yields 7.44\% improvement over previous state-of-the-art result.

研究の動機と目的

• 低リソースで非公式な中国語SNSテキストにおける命名エンティティ認識（NER）の課題に対処すること。
• NER評価においてしばしば不一致するラベル正答率とFスコアのギャップを埋めること。
• 半教師あり学習を活用して大量のラベルなしテキストを活用することで、低リソース環境におけるNER性能を向上させること。
• ラベル正答率ではなくFスコアを直接最適化する訓練目的を設計し、ノイズの多い予測に対してモデルの頑健性を高めること。
• Fスコアとラベル正答率を統合した訓練フレームワークを構築し、一般化性能を向上させること。

提案手法

• 遷移確率を用いてシーケンスレベルのラベル依存性をモデル化する、双方向LSTM（B-LSTM）に基づく最大マージンニューラルネットワーク（MMNN）を提案する。
• Fスコアにインspiredされたペナルティを用いた構造的マージン損失関数を導入し、誤ったラベルシーケンスに対してペナルティを課す。割合パラメータκを用いてラベル不一致を重み付けする。
• B-LSTM出力と遷移確率A、予測ラベルの負の対数尤度を組み合わせた文単位のスコア関数を構築する。
• Fスコア駆動損失とラベル正答率損失を組み合わせたハイブリッド訓練目的を採用し、両基準をバランスさせるハイパーパramータβで重み付けする。
• ラベルなしテキストからの位置情報付き文字埋め込みを用いて語の表現を豊かにし、低リソース環境での一般化性能を向上させる。
• 20エポックにわたり、L2正則化と減衰する学習率を用いた確率的勾配降下法でモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 Fスコアをニューラルネットワーク内で直接最適化することで、標準的な正答率ベースの学習と比較して中国語SNSにおけるNER性能が向上するか？
• RQ2 Fスコアとラベル正答率を統合した訓練目的を統合することで、モデルの一般化性能と頑健性にどのような影響を与えるか？
• RQ3 遷移確率とB-LSTM表現は、低リソースNERにおけるシーケンスレベルのラベリングにどの程度効果をもたらすか？
• RQ4 ラベルなしデータからの位置情報付き文字埋め込みを用いることで、中国語NERにおけるOoVエンティティの性能が向上するか？
• RQ5 訓練目的におけるFスコアと正答率の最適なバランスは何か？ そしてそれがモデル性能にどのように影響するか？

主な発見

• 提案されたFスコア駆動モデル（モデルI）は、53.64%の全体F1スコアを達成し、ベースラインB-LSTMモデル（52.81%）および先行の最先端手法を上回った。
• 統合モデル（モデルII）は、54.82%という新たな最先端F1スコアを達成し、Fスコアとラベル正答率の両方を同時に最適化する有効性を示した。
• OoVエンティティにおけるリcallが20.96%まで向上し、珍しいまたは未知のエンティティへの一般化性能が向上した。
• 位置情報付き文字埋め込みの使用により、単語分割特徴よりも優れた性能を示し、F1スコアは56.29%（ベースラインB-LSTMの52.81%と比較）を記録した。
• 統合損失関数におけるハイパーパramータβは性能に顕著な影響を及ぼし、β=0.2がFスコアと正答率の最適なバランスをもたらした。