[論文レビュー] Learnability with Indirect Supervision Signals

Kaifu Wang, Ning Qiang+1 more|arXiv (Cornell University)|Jun 15, 2020

Machine Learning and Algorithms参考文献 35被引用数 4

ひとこと要約

本稿は、真のラベルが利用可能でないが、ノイズ混じりまたは部分的な信号からラベルが推定される間接的監視下における多クラス分類の統一的理論的枠組みを提示する。主な貢献は「分離 (separation)」という概念であり、これはラベル分布間の統計的距離を表すもので、学習可能性と一般化性能を特徴づけ、遷移に関する知識が最小限であっても、証明可能な学習境界を可能にする。

ABSTRACT

Learning from indirect supervision signals is important in real-world AI applications when, often, gold labels are missing or too costly. In this paper, we develop a unified theoretical framework for multi-class classification when the supervision is provided by a variable that contains nonzero mutual information with the gold label. The nature of this problem is determined by (i) the transition probability from the gold labels to the indirect supervision variables and (ii) the learner's prior knowledge about the transition. Our framework relaxes assumptions made in the literature, and supports learning with unknown, non-invertible and instance-dependent transitions. Our theory introduces a novel concept called \emph{separation}, which characterizes the learnability and generalization bounds. We also demonstrate the application of our framework via concrete novel results in a variety of learning scenarios such as learning with superset annotations and joint supervision signals.

研究の動機と目的

• ゴールラベルが利用できない状況における多クラス分類の一般的な枠組みを形式化すること。
• 先行研究の仮定を緩和し、真のラベルと監視信号の間の未知、非可逆的、インスタンス依存の遷移確率を許容すること。
• 成功した学習に必要な、遷移プロセスに関する最小限の事前知識を同定すること。
• 学習可能性を特徴づけるために、新たな理論的構成要素「分離」を導入すること。
• 不完全な監視下でも一貫した学習が可能となる条件と一般化境界を提供すること。

提案手法

• 真のラベルと間接的監視信号の関係を、完全には把握されていない遷移確率分布を用いてモデル化する。
• 「遷移クラス (transition class)」という概念を導入し、柔軟な事前知識の表現を可能にする。
• 統計的距離（例：全変動距離やKLダイバージェンス）として定義される、新たな理論的構成要素「分離」を導入する。
• 分離は、学習問題の整合性と同定可能性を定量化するものであり、異なるラベルが監視信号によって区別可能であることを保証する。
• 複雑さ、整合性、同定可能性の3つの成分に分解することで理論的境界を導出し、統一的な一般化境界（定理4.2）を導出する。
• 具体的な応用例として、スーパーセットアノテーションや共同監視の設定を扱い、分離は全変動距離または統合信号分布を用いて達成可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 真のラベルが利用不可で、間接的監視信号のみが利用可能な状況下で、多クラス分類器が一貫して学習可能となる条件は何か？
• RQ2 真のラベルから監視信号への遷移に関する、どの程度の事前知識があれば学習可能性が達成可能か？
• RQ3 間接的監視からの学習の難易度を形式的に定量化し、境界を付ける方法は何か？
• RQ4 ラベルノイズや部分的アノテーションといった既存の設定を包含する統一的理論枠組みを構築可能か？
• RQ5 監視信号の構造（例：スーパーセット、複数の信号の組み合わせ）は、学習可能性および一般化性能にどのように影響を与えるか？

主な発見

• 本稿は、学習可能性の3要素（複雑さ、整合性、同定可能性）に分解可能な統一的一般化境界（定理4.2）を確立した。
• 「分離」が形式的に定義され、同定可能性と整合性の十分条件であることが示され、分離の下限が一般化を保証する。
• スーパーセットアノテーションの設定では、分離が異なるラベルが誘導するアノテーション分布間の全変動距離によって達成可能であることを示した。
• 複数の間接的信号が利用可能な共同監視設定では、個々の信号が曖昧であっても、信号を統合することで分離を達成できることを示した。
• 2人のノイズ混じりのアノテータが対称的な信号を出力するなど、監視信号のサポートが重複してラベル情報がマスキングされる場合、分離が消失し、学習が不可能になることを示した。
• 個々の信号が分離可能であっても、その信号源を区別せずに混合すると、分離が完全に消失し、信号が情報を持たなくなる反例を提示した。