[論文レビュー] Socratic Learning: Correcting Misspecified Generative Models using Discriminative Models

Paroma Varma, Bryan He+5 more|arXiv (Cornell University)|Oct 25, 2016

Topic Modeling被引用数 7

ひとこと要約

Socratic Learningは、弱い監視ソースの不一致を検出するために判別モデルのフィードバックを用いる手法を導入し、生成モデルを動的に拡張することで、誤りの原因となる不適切な監視を是正する。真のラベルが一切不要な状況でも、関係抽出において最先端の弱い監視手法と比較して、誤りを最大56.06%まで低減する。

ABSTRACT

A challenge in training discriminative models like neural networks is obtaining enough labeled training data. Recent approaches use generative models to combine weak supervision sources, like user-defined heuristics or knowledge bases, to label training data. Prior work has explored learning accuracies for these sources even without ground truth labels, but they assume that a single accuracy parameter is sufficient to model the behavior of these sources over the entire training set. In particular, they fail to model latent subsets in the training data in which the supervision sources perform differently than on average. We present Socratic learning, a paradigm that uses feedback from a corresponding discriminative model to automatically identify these subsets and augments the structure of the generative model accordingly. Experimentally, we show that without any ground truth labels, the augmented generative model reduces error by up to 56.06% for a relation extraction task compared to a state-of-the-art weak supervision technique that utilizes generative models.

研究の動機と目的

• 既存の弱い監視手法が全データで一様な正確性を仮定しているという限界に対処すること。これは、監視ソースの動作が平均と異なる潜在的サブセットを考慮していないためである。
• 判別モデルからのフィードバックを用いて、このような潜在的サブセットを自動で同定するフレームワークを開発すること。
• これらのサブセットにおける誤った監視ソースを是正するために、生成モデルの構造を動的に拡張すること。
• 真のラベルが一切不要な状況でも、弱い監視学習の正確性を向上させること。
• ヒューリスティクスと知識ベースの信号のみを用いて、実世界の関係抽出タスクで顕著な誤り低減を示すこと。

提案手法

• 本手法は、判別モデルが生成モデルの予測を評価することで、監視性能に一貫性のないデータサブセットを検出するフィードバックループを導入する。
• 監視ソースが平均精度から逸脱する潜在的クラスタを同定し、これは誤った監視の可能性を示している。
• 生成モデルは、これらの異なるサブセットを別々にモデル化できる追加の構造を備えることで拡張され、ラベル推定が向上する。
• 本手法は確率的モデリングを用い、潜在的サブセット構造の同時推論と、判別モデルからのフィードバックに基づく生成モデルのパラメータの最適化を実現する。
• 真のラベルに依存しないように、判別モデルの信頼度と予測パターンをサブセット発見の信号として使用する。
• 本フレームワークは、データの不均一性に適応できるように、生成モデルの監視統合を反復的に改善する。

実験結果

リサーチクエスチョン

• RQ1 判別モデルからのフィードバックを用いて、監視ソースが平均と異なる方法で動作する潜在的データサブセットを検出できるか？
• RQ2 このようなフィードバックに基づいて生成モデルの構造を動的に拡張することで、真のラベルが一切不要な状況でもラベルの正確性を向上させられるか？
• RQ3 本手法を用いることで、最先端の手法と比較して弱い監視関係抽出でどの程度の誤り低減が達成できるか？
• RQ4 本手法は多様なデータ分布にわたり、誤った監視ソースを効果的に是正できるか？

主な発見

• Socratic Learningフレームワークは、生成モデルを用いる最先端の弱い監視手法と比較して、関係抽出タスクにおいて誤りを最大56.06%まで低減する。
• 真のラベルが一切不要な状況でも、監視ソースが平均精度から逸脱する潜在的データサブセットを効果的に同定する。
• 拡張された生成モデルは、これらのサブセットを別々にモデル化することで著しく高い性能を達成し、全体のラベル品質が向上する。
• 本手法は、ヒューリスティクスと知識ベースの信号のみを用いても、実世界の環境で高い頑健性と有効性を示す。