[論文レビュー] Strength from Weakness: Fast Learning Using Weak Supervision

Joshua Robinson, Stefanie Jegelka+1 more|arXiv (Cornell University)|Feb 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 65被引用数 5

ひとこと要約

本稿は弱教師あり学習の理論的枠組みを提案し、豊富な弱ラベルが少数の強ラベルにおける学習を加速できることを示しており、標準の $\mathcal{O}(1/\sqrt{n})$ ではなく $\mathcal{O}(1/n)$ の高速一般化レートを達成している。この手法は弱ラベルデータからの特徴転移を用い、性能は弱ラベルの量とタスクの関連性に連続的に依存し、視覚タスク全体にわたって実証的に検証されている。

ABSTRACT

We study generalization properties of weakly supervised learning. That is, learning where only a few "strong" labels (the actual target of our prediction) are present but many more "weak" labels are available. In particular, we show that having access to weak labels can significantly accelerate the learning rate for the strong task to the fast rate of $\mathcal{O}( icefrac1n)$, where $n$ denotes the number of strongly labeled data points. This acceleration can happen even if by itself the strongly labeled data admits only the slower $\mathcal{O}( icefrac{1}{\sqrt{n}})$ rate. The actual acceleration depends continuously on the number of weak labels available, and on the relation between the two tasks. Our theoretical results are reflected empirically across a range of tasks and illustrate how weak labels speed up learning on the strong task.

研究の動機と目的

• 強ラベルが僅かにしか利用できない状況における弱教師あり学習の理論的基盤を確立すること。
• 大量の弱ラベルが強タスクにおける学習性能を確実に向上させることを調査すること。
• 中心条件を用いて弱タスクと強タスクの関係を定量化し、一般化境界を導出すること。
• 弱ラベルデータからの特徴学習が、強ラベルのみを用いた学習よりも高速な収束レートを達成できることを示すこと。
• 複数の視覚ベンチマークで理論的発見を実証的に検証すること。

提案手法

• 弱ラベルで学習し、その特徴を強タスクに転送する汎用的な特徴学習アルゴリズムを提案する。
• タスクの関連性を形式的に測るための中心条件を導入し、共通の埋め込みが両タスクに有益であることを保証する。
• 弱ラベルの数 $m$ と強ラベルの数 $n$ の相対的な増加率に依存する強タスクの一般化境界を導出する。
• 過剰リスクを制御するため、Cramér-Chernoff 濃度バインディングを分析に用いる。
• 二段階の訓練プロトコルを採用する：まず $m$ 個の弱ラベルで弱モデルを事前学習し、その後その特徴を固定して $n$ 個の強ラベルで強モデルを微調整する。
• MNIST、SVHN、CIFAR-10、CIFAR-100 で、制御されたデータ分割を用いて、ResNetに基づく特徴抽出器と全結合ヘッドを用いて結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 弱教師あり学習は、少数の強ラベルにおける学習を顕著に加速させることができるか？
• RQ2 弱教師あり学習が遅いレートではなく、高速な一般化レートをもたらす条件は何か？
• RQ3 弱ラベルの量と強タスクに対する関連性が、学習速度にどのように影響するか？
• RQ4 強ラベルのみで $\mathcal{O}(1/\sqrt{n})$ の一般化誤差しか得られない状況で、弱ラベルデータからの特徴転移が $\mathcal{O}(1/n)$ の一般化誤差を達成できるか？
• RQ5 弱ラベルデータから学習した特徴が依然として強タスクに有益であることを保証する理論的条件は何か？

主な発見

• 弱ラベルの数 $m$ が強ラベルの数 $n$ の二乗に比例して増加する場合、強タスクは $\widetilde{\mathcal{O}}(1/n)$ の高速レートを達成し、標準の $\mathcal{O}(1/\sqrt{n})$ レートを著しく上回る。
• 強タスクの一般化誤差は、$m$ と弱タスクの一般化誤差に応じて、ゆっくりと速いレートの間を滑らかに補間する。
• $m = \Omega(n^2)$ かつ弱タスクの過剰リスクが $\mathcal{O}(1/\sqrt{m})$ の場合、強タスクは $\widetilde{\mathcal{O}}(1/n)$ の過剰リスクを達成し、明確な高速化を示す。
• 中心条件により、観測不可能な状態であっても、両タスクで良好に動作する共通の特徴埋め込みが存在することが保証される。
• 実証的結果は、理論的高速レートが MNIST、SVHN、CIFAR-10、CIFAR-100 で実際の実験でも観察され、弱教師あり学習による一貫した性能向上が確認された。
• 小さな弱ラベル用ネットワークアーキテクチャを用いても、この手法は頑健であるため、速度向上はモデルサイズに依存せず、データ量とタスクの関連性に依存することが示された。