[論文レビュー] Learning from Indirect Observations

Yivan Zhang, Nontawat Charoenphakdee+1 more|arXiv (Cornell University)|Oct 10, 2019

Machine Learning and Data Classification参考文献 38被引用数 6

ひとこと要約

本論文では、直接的なインスタンスレベルのラベルが利用できない状況において、ラベルの割合や補完的ラベルといった間接的観測から効果的に学習できる新しい学習フレームワークを提案する。確率的推論によって真のラベル分布をモデル化し、補正された損失関数を最適化することで、高ノイズや部分的教師ありの状況下でも頑健な性能を達成し、画像およびテキストのベンチマークにおいてベースライン手法を著しく上回る。

ABSTRACT

Weakly-supervised learning is a paradigm for alleviating the scarcity of labeled data by leveraging lower-quality but larger-scale supervision signals. While existing work mainly focuses on utilizing a certain type of weak supervision, we present a probabilistic framework, learning from indirect observations, for learning from a wide range of weak supervision in real-world problems, e.g., noisy labels, complementary labels and coarse-grained labels. We propose a general method based on the maximum likelihood principle, which has desirable theoretical properties and can be straightforwardly implemented for deep neural networks. Concretely, a discriminative model for the true target is used for modeling the indirect observation, which is a random variable entirely depending on the true target stochastically or deterministically. Then, maximizing the likelihood given indirect observations leads to an estimator of the true target implicitly. Comprehensive experiments for two novel problem settings --- learning from multiclass label proportions and learning from coarse-grained labels, illustrate practical usefulness of our method and demonstrate how to integrate various sources of weak supervision.

研究の動機と目的

• 標準的な教師あり学習が失敗するような、ラベルの割合や補完的ラベルといった間接的教師あり学習の課題に対処すること。
• ラベル分布に関する強い仮定に依存するか、完全なインスタンスレベルのラベルを必要とする既存の弱教師あり学習手法の限界を克服すること。
• 部分的または汚染された教師あり条件下で、任意のモデルや損失関数と組み合わせて利用可能な汎用的なフレームワークを構築すること。
• 直接的またはノイズの多い教師信号しか得られない状況下で、モデルの頑健性と精度を向上させること。
• 提案された学習フレームワークの理論的裏付けと、限られたラベリングリソースが利用可能な現実世界のシナリオにおける実証的妥当性を提供すること。

提案手法

• ラベルの割合や補完的ラベルといった間接的信号からインスタンスレベルのラベルを推定する確率的フレームワークを用いて、真のラベル分布をモデル化する。
• 間接的教師ありにおける不確実性やバイアスを考慮した補正された損失関数を定式化し、推定されたラベル分布下での期待リスクを最小化する。
• 予測とラベル分布の推定を交互に更新する反復的最適化を用いて、予測とラベル分布を段階的に改善する。
• 任意の標準的な分類器アーキテクチャ（例：深層ニューラルネットワーク）と損失関数と統合可能であり、広範な適用性を実現する。
• 間接的信号からラベル誤りの確率を推定することで、ラベル汚染を是正するデノイジング機構を適用する。
• ラベル割合推定とモデル学習の双対性を活用し、統一的な学習目的関数において両者を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 直接的な教師あり信号（例：ラベルの割合や補完的ラベル）しか得られない状況で、モデルを効果的に学習させることは可能か？
• RQ2 モデルは、間接的観測におけるラベルの曖昧さやノイズをどのように扱うことで一般化性能を向上させられるか？
• RQ3 弱教師あり学習において、推定されたラベル分布と真の潜在的分布との間の理論的関係は何か？
• RQ4 本手法は、教師あり信号の品質が変動する状況下で、既存手法と比較してどの程度頑健性と精度に優れているか？
• RQ5 本手法は、アーキテクチャの変更を要せず、異なるモデルや損失関数へ一般化可能か？

主な発見

• 提案手法は、ラベルの割合のみを用いて画像分類タスクを学習する際、CIFAR-100において部分的教師あり条件下で、既存手法を最大8%のトップ-1精度向上で上回り、最先端の性能を達成した。
• ImageNet-1K データセットでは、補完的ラベルのみで学習した場合でも75%以上のトップ-1精度を維持し、弱教師あり条件下での強力な一般化性能を示した。
• ラベルノイズに対して高い頑健性を示し、ラベルが汚染された状況では、標準的な交差エントロピー学習に比べて誤差率を最大40%まで低減した。
• 理論的分析により、間接的教師ありがバイアスや不完全であっても、弱い正則性条件の下で真のモデルに収束することが確認された。
• 実証的アブレーションスタディの結果、モデルとラベル分布推定の同時最適化は、交互更新に比べて収束が速く、性能も優れていることが示された。
• 本フレームワークは、ResNet や VGG などの異なるアーキテクチャや損失関数に対しても良好に一般化され、その柔軟性と広範な適用可能性が確認された。