[論文レビュー] Universalizing Weak Supervision

Changho Shin, Winfred Li+3 more|arXiv (Cornell University)|Dec 7, 2021

Traditional Chinese Medicine Studies被引用数 7

ひとこと要約

本稿では、バイナリ、回帰、ランク付け、双曲的、メトリック空間ラベルのいずれのラベルタイプに対しても一般化可能なユニバーサル弱教師付き学習フレームワークを提案する。このフレームワークは、ラベルをブール型またはユークリッド空間に埋め込み、一貫性があり効率的な合成に適したモーメント法推定器を用いる。多様なタスク、特にラーニング・トゥ・ランクや回帰において、真のラベルが少ない状況でも完全教師ありベースラインを上回る最先端の性能を達成する。

ABSTRACT

Weak supervision (WS) frameworks are a popular way to bypass hand-labeling large datasets for training data-hungry models. These approaches synthesize multiple noisy but cheaply-acquired estimates of labels into a set of high-quality pseudolabels for downstream training. However, the synthesis technique is specific to a particular kind of label, such as binary labels or sequences, and each new label type requires manually designing a new synthesis algorithm. Instead, we propose a universal technique that enables weak supervision over any label type while still offering desirable properties, including practical flexibility, computational efficiency, and theoretical guarantees. We apply this technique to important problems previously not tackled by WS frameworks including learning to rank, regression, and learning in hyperbolic space. Theoretically, our synthesis approach produces a consistent estimators for learning some challenging but important generalizations of the exponential family model. Experimentally, we validate our framework and show improvement over baselines in diverse settings including real-world learning-to-rank and regression problems along with learning on hyperbolic manifolds.

研究の動機と目的

• 既存の弱教師付き学習フレームワークがバイナリやシーケンスラベルなど特定のラベルタイプに限定されているという制限を克服すること。
• 回帰、ランク付け、双曲的埋め込みを含む任意のメトリック空間ラベルに対して、統一的な弱教師付き学習手法を構築すること。
• 多様なラベルタイプにわたり、計算効率、理論的整合性、実用的柔軟性を維持すること。
• ラーニング・トゥ・ランクや双曲空間における測地線回帰といった、従来未解決であった問題に対するフレームワークの有効性を示すこと。
• より多様で高品質なラベル関数を用いることで、偽ラベルの品質と下流モデルの性能が向上し、真のラベルが限られた状況ですでに完全教師ありモデルを上回ることを示すこと。

提案手法

• 任意のメトリック空間 $\mathcal{Y}$ 上での弱ラベリングプロセスを、指数型分布族としてモデル化する。
• 計算が容易になるように、$\mathcal{Y}$ からのラベルをブール超立方体 $\{\pm1\}^d$ またはユークリッド空間 $\mathbb{R}^d$ に埋め込む。
• 埋め込み空間上でスカラー線形または二次方程式を解くことで、モーメント法に基づくラベルモデルを学習する。
• 有限標本バウンドを用いて、一般化された指数型分布族モデルに対する推定器の整合性を確立する。
• 推定されたモデルパラメータを用いて、ノイズの多いラベル関数を組み合わせ、高品質な偽ラベルを合成する。
• 合成された偽ラベル上で下流モデルを学習することで、手動ラベリングなしにエンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 バイナリラベルや構造的ラベルにとどまらず、回帰やランク付けを含む任意のメトリック空間ラベルに対しても、弱教師付き学習を一般化できるか。
• RQ2 埋め込みとモーメント法推定に基づくユニバーサルラベルモデルは、多様なラベルタイプにわたり理論的整合性と計算効率を維持できるか。
• RQ3 真のラベルがごく少数しか利用できない状況でも、提案フレームワークが完全教師あり学習を上回ることができるか。
• RQ4 異なるラベルタイプにおいて、ラベル関数の数と品質が性能にどのように影響するか。
• RQ5 双曲多様体やランダムグラフに由来する距離をもつメトリック空間といった複雑なラベル空間を処理できるか。

主な発見

• 2つの実世界のラーニング・トゥ・ランクタスクにおいて、本フレームワークは真のラベルが5%の状況でも、18個のラベル関数を用いた適応版Snorkelフレームワークを上回る性能を達成した。
• 回帰タスクでは、6個以上のラベル関数を用いることで、完全教師あり学習と同等の性能を達成し、MSEも完全教師ありベースラインと同等の水準にまで到達した。
• 双曲空間における測地線回帰タスクでは、わずか3個のラベル関数のみで、完全教師あり学習を上回った。
• ランダムグラフに由来する距離をもつ合成メトリック空間設定において、本手法はメジャリティ投票よりもラベル関数の不均一性に強く、推定誤差を低減した。
• 意味的依存解析タスクにおいて、本フレームワークは強力なベースラインモデルを上回り、構造的予測の有効性を示した。
• MSLR-WEB10Kデータセットにおいて、本フレームワークは、わずか弱教師付き学習（非教師あり情報検索手法BM25を用いた）で10%の真のラベルを学習した場合をも上回った。