[論文レビュー] Graph-Based Semi-Supervised Conditional Random Fields For Spoken Language Understanding Using Unaligned Data

Mohammad Aliannejadi, Masoud Kiaeeha+2 more|arXiv (Cornell University)|Jan 30, 2017

Natural Language Processing Techniques参考文献 18被引用数 4

ひとこと要約

本稿では、音声理解（SLU）のためのグラフベースの半教師付き条件付き確率場（CRF）フレームワークを提案する。この手法は、IBM Model 5を用いて発話と意味木を事前にアラインメントさせた後、k-NN類似度グラフを構築し、少数のラベル付き例からラベルを伝搬することで、ラベルなしデータを活用する。ラベル付きデータが10%の状況で、教師ありCRFに比べ1.64%、自己学習CRFに比べ1.38%のFスコア向上を達成し、低リソースSLU状況での顕著な性能向上を示した。

ABSTRACT

We experiment graph-based Semi-Supervised Learning (SSL) of Conditional Random Fields (CRF) for the application of Spoken Language Understanding (SLU) on unaligned data. The aligned labels for examples are obtained using IBM Model. We adapt a baseline semi-supervised CRF by defining new feature set and altering the label propagation algorithm. Our results demonstrate that our proposed approach significantly improves the performance of the supervised model by utilizing the knowledge gained from the graph.

研究の動機と目的

• 音声理解（SLU）における手動アノテーションの高コストを低減するため、ラベルなしトレーニングデータを活用すること。
• ラベル付きデータの割合が非常に少ない低リソース環境において、CRFの性能を向上させること。
• グラフベースのラベル伝搬を用いて、ラベルなしデータからの知識転送を効果的に実現する半教師付き学習フレームワークを開発すること。
• 完全にアラインメントされたトレーニングデータに依存するのを減らすために、IBM Model 5によるアラインメントを用いてグラフ構築用の疑似ラベルを生成すること。

提案手法

• IBM Model 5を用いてラベルなし発話を意味木にアラインメントさせ、疑似ラベル付きトレーニングインスタンスを生成する。
• 文の埋め込みと単語レベル特徴を用いて、ラベル付きおよびラベルなしデータの両方を対象にk-NN類似度グラフを構築する。
• 経験的ラベル分布、グラフスムージング、事前ラベル信念を組み込んだ、変更を加えたラベル伝搬アルゴリズムを適用する。
• 予測された周辺確率に基づいて、Viterbiデコードを用いてラベルなしデータの疑似ラベルを生成する。
• 元のラベル付きデータと新たに予測された疑似ラベル付きデータを用いて、CRFモデルを反復的に再訓練する。
• L2正則化を用いたCRF目的関数を最適化し、ラベルの一貫性、グラフスムージング、事前アラインメント忠実度を重み付き最適化関数で同時に最小化する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータの割合が非常に少ない状況下で、グラフベースの半教師付き学習がCRFの性能向上に寄与するか？
• RQ2 ラベルなし発話と意味木から構築されたk-NNグラフ上でのラベル伝搬はどの程度効果的か？
• RQ3 グラフ構造とラベル一貫性を組み込むことで、教師ありおよび自己学習ベースラインに比べてFスコアが向上するか？
• RQ4 IBM Model 5によるアラインメントが、ラベルなしデータ上で効果的な半教師付きCRF学習を可能にする十分な疑似ラベルを提供できるか？
• RQ5 ラベル伝搬段階およびCRF再訓練段階における異なるハイパーパrameterが最終性能に与える影響は何か？

主な発見

• 提案手法の半教師付きCRFは、ラベル付きデータが10%の状況でFスコア87.72%を達成し、教師ありCRF（86.07%）に比べ1.65%の向上を示した。
• ラベル付きデータが10%の状況で、自己学習CRF（86.34%）に比べ1.38%のFスコア向上を達成し、87.72%を記録した。
• ラベル付きデータが30%の状況では、半教師付きCRFのFスコアは89.12%に達し、教師ありCRF（88.64%）および自己学習CRF（88.64%）を上回った。
• 性能向上は特にデータが少ない状況で顕著であり、低リソースSLU環境における優れたサンプル効率性を示している。
• 従来手法とは異なり、グラフベースのラベル伝搬によりアラインメント誤りを効果的に是正できた。