[論文レビュー] Interactive Weak Supervision: Learning Useful Heuristics for Data Labeling

Benedikt Boecking, Willie Neiswanger+2 more|arXiv (Cornell University)|Dec 10, 2020

Machine Learning and Data Classification被引用数 16

ひとこと要約

本稿では、データポイントではなく候補となるラベル関数（LF）に対してドメインエキスパートを対象にインタラクティブに問い合わせることで、有効なラベル付けヒューリスティクスの自動発見を実現する、新しいフレームワークであるインタラクティブ弱教師付き学習（IWS）を提案する。LFに関するユーザーフィードバックから学習することで、従来のアクティブラーニングと比較してはるかに少ないユーザーリクエストで競争力のあるモデル性能を達成し、弱教師付き学習の文脈において優れた効率性と有効性を示している。

ABSTRACT

Obtaining large annotated datasets is critical for training successful machine learning models and it is often a bottleneck in practice. Weak supervision offers a promising alternative for producing labeled datasets without ground truth annotations by generating probabilistic labels using multiple noisy heuristics. This process can scale to large datasets and has demonstrated state of the art performance in diverse domains such as healthcare and e-commerce. One practical issue with learning from user-generated heuristics is that their creation requires creativity, foresight, and domain expertise from those who hand-craft them, a process which can be tedious and subjective. We develop the first framework for interactive weak supervision in which a method proposes heuristics and learns from user feedback given on each proposed heuristic. Our experiments demonstrate that only a small number of feedback iterations are needed to train models that achieve highly competitive test set performance without access to ground truth training labels. We conduct user studies, which show that users are able to effectively provide feedback on heuristics and that test set results track the performance of simulated oracles.

研究の動機と目的

• 弱教師付き学習における有効なラベル関数（LF）を手作業で作成する際の高い認知的負荷と時間コストを軽減すること。
• 高価な手作業によるデータラベリングに依存しないようにし、エキスパートが個々のデータポイントではなくLFに対してフィードバックを提供できる仕組みを提供すること。
• ユーザーフィードバックから学習し、高精度なLFを効率的に特定するインタラクティブフレームワークを開発すること。
• 限られたエキスパートの時間の中で、弱教師付き学習のスケーラビリティと実用性を向上させること。
• LFに対するユーザーフィードバックが、完全な正例ラベルで訓練されたモデルと同等の性能を示すことを実証すること。

提案手法

• 候補となるラベル関数（LF）を自動的に生成し、その正確性と有用性についてエキスパートにフィードバックを求める。
• ユーザーラベルの判断から学習するフィードバックモデルを構築し、正確なLFである確率を予測する。この際、潜在的な真のラベルを推定するために確率的ラベルモデルを用いる。
• 最終分類器を、ラベルモデルから得た推定ラベルをもとに、ノイズに強い損失関数を用いて学習させる。これはRatnerら（2016）の手法に従う。
• LFの正確性とラベルの発生確率（LFがどれだけ頻繁に投票するか、または参加を避けるか）を、パラメータθ(1)とθ(2)をもつ構造的指数型分布族モデルでモデル化する。
• アクティブラーニングの原則をデータポイントではなくLFに適用することで、必要なユーザーアクセス回数を削減する。
• ラベルモデルは最尤推定法で学習され、LFの正確性および発生確率のパラメータに対して閉形式の解が導出される。

実験結果

リサーチクエスチョン

• RQ1 データポイントに対する従来のアクティブラーニングと比較して、ラベル関数（LF）に対するインタラクティブフィードバックはより効率的か？
• RQ2 ユーザーは自動的に生成されたLFの品質を信頼できる精度で判断できるか？
• RQ3 LFに対するユーザーフィードバックから学習することで、競争力のある下流モデルが得られるか？
• RQ4 LFのラベル付け回数とデータポイントのラベル付け回数を比較した場合、モデル性能と効率性の面でどちらが優れているか？
• RQ5 本フレームワークは、LFの正確性とラベル発生確率の両方を効果的にモデル化でき、ラベル推定の精度を向上させられるか？

主な発見

• IWSは、200個のLFのラベル付けを経て得た平均テストセットAUCが、標準的なアクティブラーニングで少なくとも3倍のデータポイントラベル付けが必要な水準に達した。
• LFフィードバックのためのユーザーレスポンス時間が、データポイントのラベル付けよりも短く、認知的負荷が低いことを示している。
• ユーザースタディーにより、エキスパートが自動生成されたLFの品質について正確かつ信頼できるフィードバックを提供できることを確認した。
• 最終モデルのテストセット性能は、シミュレーテッドオラクルの性能をよく追跡しており、モデルの学習能力が妥当であることを検証した。
• 本フレームワークは、極めて少ないエキスパートの関与で高い性能を達成する優れたサンプル効率性を示した。
• ラベルモデルが弱教師付き学習とLFに対するユーザーフィードバックのみを用いて潜在的な真のラベルを推定でき、強力な下流分類器の性能を実現した。