[論文レビュー] A Survey on Programmatic Weak Supervision

Jieyu Zhang, Cheng-Yu Hsieh+3 more|arXiv (Cornell University)|Feb 11, 2022

Machine Learning and Data Classification被引用数 40

ひとこと要約

プログラム的弱教師信号 (PWS) の包括的な調査で、ラベリング関数、ラベルモデル、エンドモデル、ジョイントモデル、そしてPWSが関連する学習パラダイム、データセット、応用とどのように統合されるかを詳述します。

ABSTRACT

Labeling training data has become one of the major roadblocks to using machine learning. Among various weak supervision paradigms, programmatic weak supervision (PWS) has achieved remarkable success in easing the manual labeling bottleneck by programmatically synthesizing training labels from multiple potentially noisy supervision sources. This paper presents a comprehensive survey of recent advances in PWS. In particular, we give a brief introduction of the PWS learning paradigm, and review representative approaches for each component within PWS's learning workflow. In addition, we discuss complementary learning paradigms for tackling limited labeled data scenarios and how these related approaches can be used in conjunction with PWS. Finally, we identify several critical challenges that remain under-explored in the area to hopefully inspire future research directions in the field.

研究の動機と目的

• プログラム的弱教師信号 (PWS) 学習パラダイムと、ラベリング労力を削減する動機を紹介する。
• ラベリング関数、ラベルモデル、エンドモデル、ジョイントモデルを含むPWSワークフローの構成要素を検討する。
• ラベリング関数と依存構造の実践的生成について議論し、さまざまなタスクとモダリティへの拡張を調査する。
• 補完的な学習パラダイムを探り、PWSにおける課題と今後の方向性を概説する。

提案手法

• PWS手法を、two-stage (label model then end model) と one-stage (joint models) に分類する。
• ラベリング関数のタイプを調査する（ユーザー作成のヒューリスティクス、知識ベース、事前学習済みモデル、クラウドラベル、第三者ツール）。
• ラベルモデルを確率的グラフィカルモデルとして、LFの依存関係をどのように取り込むかを説明する。
• 確率的ラベルで学習し、LFによって明らかになるデータを扱うエンドモデルの詳細（例: self-training）を述べる。
• インスタンス依存のラベルモデリングを含む、ラベルモデルとエンドモデルを協調訓練するジョイントモデルを説明する。
• シーケンス tagging、一般的なタスク、およびマルチタスク学習への拡張を要約し、自動的/対話的/案内付き LF生成について議論する。

実験結果

リサーチクエスチョン

• RQ1 弱教師信号ソース（ labeling functions ）を、データ効率的な方法で真のラベルを復元するために統合するにはどうすればよいか？
• RQ2 さまざまな学習タスク（分類、シーケンス tagging など）に利用可能なラベルモデルとエンドモデルは何か、そしてそれらはLFの依存関係をどう扱うか？
• RQ3 人手の負担を減らすための、ラベリング関数を自動的/対話的/案内付きで生成・改良する効果的な戦略は何か？
• RQ4 限られたラベルデータに対処するために、PWSをアクティブ学習、転移学習、SSLなどの補完的アプローチとどのように統合できるか？
• RQ5 より複雑なタスクやマルチモーダルデータへPWSを拡張する際の課題と今後の方向性、倫理的で信頼できるAIを確保することを含めて？

主な発見

• ラベルモデルはノイズの多いLF出力を確率的ラベルまたは硬いラベルに集約し、LFの依存関係を考慮する。
• ジョイントモデルはニューラルネットワークを活用してラベルモデルとエンドモデルを共訓練し、依存関係を暗黙的に捉える。
• LF生成は自動的、対話的、または案内付きで行われ、SMEの負担を軽減する。
• シーケンス tagging や一部の一般的なタスクへの拡張が進み、連続的・間接的LFを扱う方法を含む。
• PWSはアクティブ学習、転移学習、SSLを補完し、より広いデータ効率の良い学習ツールボックスを形成する。
• 例とデータセットは、PWSの適用範囲がドメインとモダリティを跨ることを示している。