[論文レビュー] Foreshadowing the Benefits of Incidental Supervision

Hangfeng He, Mingyuan Zhang+2 more|arXiv (Cornell University)|Jun 9, 2020

Topic Modeling参考文献 71被引用数 3

ひとこと要約

本稿では、ノイズの多い、部分的、あるいはクロスドメインのラベルといった付随的な教師信号の情報量を、モデルの不確実性の低減度を推定することで測定するPACベイジアン指標PABIを提案する。命名エンティティ認識および質問応答の実験において、PABIは実際の学習性能と強く相関しており、訓練を開始する前にもどの信号がモデルの性能向上に寄与するかを予測可能である。

ABSTRACT

Learning theory mostly addresses the standard learning paradigm, assuming the availability of complete and correct supervision signals for large amounts of data. However, in practice, machine learning researchers and practitioners acquire and make use of a range of {\em incidental supervision} signals that only have statistical associations with the gold supervision. This paper addresses the question: {\em Can one quantify models' performance when learning with such supervision signals, without going through an exhaustive experimentation process with various supervision signals and learning protocols?} To quantify the benefits of various incidental supervision signals, we propose a unified PAC-Bayesian Informativeness measure (PABI), characterizing the reduction in uncertainty that incidental supervision signals provide. We then demonstrate PABI's use in quantifying various types of incidental signals such as partial labels, noisy labels, constraints, cross-domain signals, and some combinations of these. Experiments on named entity recognition and question answering show that PABI correlates well with learning performance, providing a promising way to determine, ahead of learning, which supervision signals would be beneficial.

研究の動機と目的

• 実世界の機械学習において一般的に見られる不完全または不完全な教師信号を用いた場合のモデル性能を予測する課題に対処すること。
• 膨大な実験を実施せずに、ノイズラベル、部分的アノテーション、クロスドメイン制約といったさまざまな付随的教師信号の価値を定量化すること。
• 理論的裏付けをもつ統一的な指標を開発し、与えられた教師信号がどれだけ不確実性を低減できるかを推定すること。
• 研究者が訓練を開始する前にも、最も有益な教師信号を選択できるようにすることにより、モデル開発における試行錯誤を削減すること。

提案手法

• 付随的教師信号による予測不確実性の低減度を測定する統一的PACベイジアン情報量指標（PABI）を提案する。
• PABIはPACベイジアン理論に基づいて導出され、教師信号を用いることで一般化誤差がどの程度低減するかの期待値をモデル化する。
• この指標は、付随的信号と正解ラベルとの間の統計的関連性を評価し、モデル性能向上の可能性を推定する。
• PABIは部分ラベル、ノイズラベル、制約、クロスドメイン信号、およびそれらの組み合わせといったさまざまな信号タイプに適用可能である。
• 完全な再訓練を必要としないため、モデル訓練の前段階で迅速に信号を評価可能である。
• PABIはラベル相関とモデル不確実性の経験的推定値を用いて計算されるため、スケーラブルで実用的である。

実験結果

リサーチクエスチョン

• RQ1 完全な実験を実施せずに、付随的教師信号を用いて訓練した場合のモデル性能向上を予測できるか？
• RQ2 部分ラベルやノイズアノテーションのような多様な教師信号において、PABIは実際の学習性能とどの程度相関するか？
• RQ3 PABIは、制約とノイズラベルの組み合わせのような有益な信号の組み合わせをどの程度正しく特定できるか？
• RQ4 PABIは、命名エンティティ認識や質問応答といった現実世界のNLPタスクにおいて、教師信号の情報量を効果的にランク付けできるか？

主な発見

• PABIは命名エンティティ認識や質問応答を含む複数のNLPタスクにおいて、実際のモデル性能と強く相関していることが示された。
• ノイズラベルや部分ラベルのような付随的教師信号が訓練前にどれほど有益であるかを効果的に同定できた。
• PABIは、制約とクロスドメイン信号の組み合わせといった信号の組み合わせを、期待される情報量の観点から効果的にランク付けできた。
• PABIは、完全な訓練サイクルを必要とせず、学習性能向上の予測を正確に行えるため、実験的負荷を低減できる。
• PABIは、正解ラベルとの弱いまたは間接的な関連性を持つ信号タイプに対しても、頑健性を示した。
• 結果から、PABIは実際の現場応用において、教師信号の選定のための信頼できる事前スクリーニングツールとして機能できる可能性がある。