[論文レビュー] Socratic Learning: Augmenting Generative Models to Incorporate Latent Subsets in Training Data

Paroma Varma, Bryan He+5 more|arXiv (Cornell University)|Oct 25, 2016

Topic Modeling参考文献 10被引用数 20

ひとこと要約

Socratic Learningは、識別モデルと生成モデルの間のフィードバックループを提案し、弱い教師信号のソースが異なる潜在的サブセットで異なる性能を示すことを特定することで、生成モデルにサブセット固有の正確性パラメータを追加する。真のラベルが存在しない状況でも、関係抽出において最先端の弱い教師手法と比較して誤差を最大56.06%まで低減する。

ABSTRACT

A challenge in training discriminative models like neural networks is obtaining enough labeled training data. Recent approaches use generative models to combine weak supervision sources, like user-defined heuristics or knowledge bases, to label training data. Prior work has explored learning accuracies for these sources even without ground truth labels, but they assume that a single accuracy parameter is sufficient to model the behavior of these sources over the entire training set. In particular, they fail to model latent subsets in the training data in which the supervision sources perform differently than on average. We present Socratic learning, a paradigm that uses feedback from a corresponding discriminative model to automatically identify these subsets and augments the structure of the generative model accordingly. Experimentally, we show that without any ground truth labels, the augmented generative model reduces error by up to 56.06% for a relation extraction task compared to a state-of-the-art weak supervision technique that utilizes generative models.

研究の動機と目的

• 既存の弱い教師手法がすべてのデータに対して一様な正確性を仮定するという制限に対処すること。これは、監視信号のソースが潜在的サブセットごとに性能が異なる場合に失敗する。
• 真のラベルが不要な状況で、弱い教師信号のソースが異なる正確性を示す潜在的サブセットを自動的に特定すること。
• 識別モデルがフィードバックを提供することで、生成モデルのデータ構造とソース信頼性の理解を改善する自己改善フレームワークを開発すること。
• 生成モデルがデータ特徴に応じて複数の正確性パラメータを学習できるようにし、下流の識別モデルのラベル品質を向上させること。

提案手法

• 生成モデルと識別モデルの予測の不一致と最も相関の高い特徴を特定する差分モデルを導入し、潜在的サブセットの兆候を示す。
• 差分モデルは識別モデルの表現から得られる特徴を用いて、ラベル不一致のパターンを検出し、弱い教師信号のソースが系統的に正確性が高いか低いかを示す。
• 統計的保証を用いて、必要なデータポイント数が特徴数の対数スケールに比例するように、潜在的サブセットに適した特徴を自動で特定する。
• 特定の特徴の有無に応じて変化する条件付き正確性パラメータを生成モデルに追加し、各サブセットごとのソース正確性をモデル化可能にする。
• ユーザー入力が一切不要な完全自動化パイプラインとして動作し、ラベルなしデータと弱い教師信号ソースのみに依存する。
• 確率的ラベルを割り当てる任意の生成モデルと互換性があり、テキスト関係抽出や画像分類などのタスクで性能向上に同じフィードバックメカニズムを適用可能である。

実験結果

リサーチクエスチョン

• RQ1 真のラベルが入手不可な状況でも、弱い教師信号のソースが異なる潜在的サブセットで性能を示す場合に、生成モデルをそのサブセット検出によって向上できるか？
• RQ2 識別モデルは、ラベルなしデータにおける潜在的サブセットを表す特徴をどのようにフィードバックで特定できるか？
• RQ3 モデルの不一致のみを用いて、高い確率で正しい特徴を特定するのに必要なサンプル数はどの程度か？
• RQ4 生成モデルにサブセット固有の正確性パラメータを追加することで、一様正確性仮定と比較して下流の識別モデルの誤差を低減できるか？
• RQ5 提案されたフィードバックループは、関係抽出、センチメント分析、画像分類など多様なタスクに有効に機能するか？

主な発見

• Socratic Learningは、一様なソース正確性を仮定する最先端の弱い教師手法と比較して、関係抽出タスクで最大56.06%の誤差低減を達成した。
• マルチモーダル画像分類では最大39.75%の誤差低減を達成し、広範な適用可能性を示した。
• 差分モデルは、ラベル不一致と相関の高い特徴（例：画像に「空」が存在する）を効果的に特定し、潜在的サブセットを示した。
• 特徴数の対数スケールに比例するサンプル複雑性を達成することで、高い確率での特徴選択が可能であり、効率性が保証された。
• 真のラベルがなくても、識別モデルの優れた表現学習能力を活用することで、生成モデルの性能向上が実現した。
• この手法は完全に自動化されており、ユーザー入力が不要であるため、データが限られる現実世界の展開に実用的である。