[論文レビュー] Data Programming: Creating Large Training Sets, Quickly

Alexander Ratner, Christopher De+3 more|arXiv (Cornell University)|May 25, 2016

Machine Learning and Data Classification参考文献 29被引用数 359

ひとこと要約

この論文はデータプログラミングを紹介します。弱監督信号をラベリング関数を介して結合し、生成モデルでラベルをデノイズし、ノイズを意識した損失で識別モデルを訓練することで、手作業によるラベル付け例がはるかに少なくても、教師ありに近い学習率を実現します。

ABSTRACT

Large labeled training sets are the critical building blocks of supervised learning methods and are key enablers of deep learning techniques. For some applications, creating labeled training sets is the most time-consuming and expensive part of applying machine learning. We therefore propose a paradigm for the programmatic creation of training sets called data programming in which users express weak supervision strategies or domain heuristics as labeling functions, which are programs that label subsets of the data, but that are noisy and may conflict. We show that by explicitly representing this training set labeling process as a generative model, we can "denoise" the generated training set, and establish theoretically that we can recover the parameters of these generative models in a handful of settings. We then show how to modify a discriminative loss function to make it noise-aware, and demonstrate our method over a range of discriminative models including logistic regression and LSTMs. Experimentally, on the 2014 TAC-KBP Slot Filling challenge, we show that data programming would have led to a new winning score, and also show that applying data programming to an LSTM model leads to a TAC-KBP score almost 6 F1 points over a state-of-the-art LSTM baseline (and into second place in the competition). Additionally, in initial user studies we observed that data programming may be an easier way for non-experts to create machine learning models when training data is limited or unavailable.

研究の動機と目的

• 手作業でのラベル付けデータセットの高コストとスケーラブルな弱監督の必要性を動機づける。
• ラベリング関数をプログラム可能な弱監督ソースとして提案し、大規模な訓練セットを生成する。
• ラベリングプロセスを生成モデル/因子グラフフレームワークとしてデノイズし、ラベルの正確性と依存関係を学習する。
• O(1) 個のラベリング関数と O(ε^{-2}) の未ラベルデータを用いた場合、特定の条件下で学習性能が教師あり法と同等の学習率を達成する。
• 実世界のリレーション抽出タスクで性能改善を示し、ドメイン専門家のための使いやすさの洞察を報告する。

提案手法

• ラベリング関数 λ: X → {-1,0,1} を弱監督信号として定義する。
• ラベリング出力 Λ と真のラベル Y の結合分布を、パラメータ α（正確さ）と β（カバレッジ）を持つ生成モデル μ_{α,β} でモデル化する。
• unlabeled データから SGD による最尤推定で α, β を推定する（式(2)）。
• 観測された Λ を条件とする変更されたロジスティック損失 L_{α̂, β̂} を最小化することで、ノイズを考慮した識別モデルを訓練する（式(3)）。
• 特定の条件下で、m 個のラベリング関数と |S| 個の未ラベルサンプルに対して、 E[‖α̂−α*‖²], E[‖β̂−β*‖²], および E[L(ŵ)−min_w L(w)] が良好にスケールし、教師ありレベルのサンプル複雑性に匹敵する。
• ラベリング関数の依存性を因子グラフ表現を用いた依存性グラフで扱うモデル拡張を行い、拡張パラメータ θ（式7–9）を学習する。
• 依存の場合にはギブスサンプリングと SGD を使用し、独立ケースと同様の学習率保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 小規模なユーザー定義のラベリング関数（弱監督信号）を用いて生成した訓練ラベルが、 probabilistic model によるデノイズを経て、完全に教師付き法と競合する識別モデルを生み出すか。
• RQ2 ラベリング関数間の依存性を組み込むと、パラメータ学習と予測性能はどう変わるか。
• RQ3 データプログラミングの理論的サンプル複雑性と一般化保証は、従来の教師あり学習とどう比較されるか。
• RQ4 データプログラミングは現実の NLP タスクへスケールし、自動特徴生成（例: LSTM）と協調して機能するか。

主な発見

• データプログラミングは、ラベリング関数の正確性と依存性を学習することで弱監督信号をデノイズできる。
• 特定の条件下で、O(1) 個のラベリング関数と Õ(ε^{-2}) の未ラベルデータを用いた場合、教師付き法と同じ漸近的学習レートを達成する。
• 実世界のリレーション抽出タスクへデータプログラミングを適用した結果、遠隔監督ベースラインを上回る平均 F1 点の改善（例: +2.34 点）、および TAC-KBP 2014 ベンチマークで最先端の LSTM ベースラインを約 +6 F1 点上回ることを示した。
• LSTM 生成の特徴量とデータプログラミングを組み合わせると、大きな改善が得られ、TAC-KBP（News）で precision が 9.79 点、F1 が 3.12 点改善した。
• 生物情報学の研究者を対象とした使いやすさ調査では、ラベリング関数の開発がより迅速で、専門外の人にもアクセス可能になり、ラベル付きデータが限定的またはゼロでも競争力のあるモデルを生み出せることが示唆された。