[論文レビュー] Deep multi-class learning from label proportions

Gabriel Dulac-Arnold, Neil Zeghidour+3 more|arXiv (Cornell University)|May 30, 2019

Machine Learning and Data Classification参考文献 33被引用数 13

ひとこと要約

本論文は、個々のラベルの代わりにラベルの割合を用いて、マルチクラス画像分類のためのディーブラーニングフレームワークを提案する。交差エントロピーと正則化最適輸送に基づく微分可能損失関数を用いて、エンドツーエンドで学習を行う。本手法は、CIFAR-10およびCIFAR-100において、最大16サンプルのバッグでも頑健な性能を達成し、最適輸送に基づく損失関数が大規模バッグに対して優れた頑健性を示す。

ABSTRACT

We propose a learning algorithm capable of learning from label proportions instead of direct data labels. In this scenario, our data are arranged into various bags of a certain size, and only the proportions of each label within a given bag are known. This is a common situation in cases where per-data labeling is lengthy, but a more general label is easily accessible. Several approaches have been proposed to learn in this setting with linear models in the multiclass setting, or with nonlinear models in the binary classification setting. Here we investigate the more general nonlinear multiclass setting, and compare two differentiable loss functions to train end-to-end deep neural networks from bags with label proportions. We illustrate the relevance of our methods on an image classification benchmark, and demonstrate the possibility to learn accurate image classifiers from bags of images.

研究の動機と目的

• 個々のインスタンスラベルの代わりに、バッグごとのラベル割合しか入手できない状況において、ディープニューラルネットワークを効果的に訓練する課題に対処すること。
• 従来の線形モデルや二値分類に限定されていたLLP手法を、一般の非線形マルチクラスディープラーニング設定へ拡張すること。
• バッグレベルのラベル割合制約下で、ディープネットワークのエンドツーエンド学習を可能にする微分可能損失関数の開発と比較を行うこと。
• 医療画像やプライバシー保護型データなどの現実世界のシナリオにおいて、集約されたラベル統計から画像分類器を学習する可能性と正確性を実証すること。

提案手法

• ラベル割合学習のための微分可能リラクゼーションとしての交差エントロピー損失を提案し、バッグレベルの制約を介してバックプロパゲーションを可能にする。
• 個々のサンプルをクラスに割り当てるモデルを構築すると同時に、バッグレベルのラベル割合を尊重する、新しい正則化最適輸送（ROT）損失を導入する。
• コスト行列、エントロピー正則化、およびターゲット割合へのKLダイバージェンスを含む、サドルポイント問題として最適化問題を定式化する。
• 共有された特徴表現をバッグ内のすべてのサンプルに適用しながら、標準的な交差エントロピーのリラクゼーションまたはROT損失を用いて、ディープニューラルネットワークをエンドツーエンドで学習する。
• ラグランジュ双対定式化を用いて、ラベル割当行列のための閉形式更新を導出し、微分可能最適化を可能にする。
• バッグサイズが異なるCIFAR-10およびCIFAR-100の画像分類ベンチマークに本手法を適用し、ラベルの曖昧さに対する頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 個々のラベルではなく、バッグごとのラベル割合しか入手できない状況において、ディープニューラルネットワークがマルチクラス設定で効果的に学習可能か？
• RQ2 具体的には、交差エントロピーのリラクゼーションと正則化最適輸送の2つの微分可能バッグレベル損失は、性能と頑健性においてどのように比較されるか？
• RQ3 ラベル割合から学習する際、バッグサイズがモデルの精度に与える影響は何か？
• RQ4 トレーニング中に個々のサンプルラベルを同時に推定することは、標準的なバッグレベルモデリングと比較して性能を向上させるか？
• RQ5 CIFAR-10やCIFAR-100といった複雑な現実世界のベンチマークにおいて、ラベル割合制約下でモデルはどのように性能を発揮するか？

主な発見

• インスタンスレベルの交差エントロピー損失を用いたベースライン手法は、LLP設定では著しく性能が低く、バッグレベルの正則化の必要性を確認する。
• 正則化最適輸送に基づくROT損失は、特に大規模バッグ（512および1024サンプル）において、交差エントロピーのリラクゼーションを常に上回るか同等の性能を示し、より高い頑健性を示す。
• バッグサイズが16を超えると、モデルの精度が急激に低下し、1024サンプルでは確率的レベルに近づくため、信頼できる学習の実用的限界があると示唆される。
• 理論的複雑性が高かろうと、より単純なKLベースの損失が、より洗練されたROT損失とほぼ同等の性能を示すため、共同ラベル推定が必ずしも性能向上をもたらすわけではないことが示唆される。
• CIFAR-10とCIFAR-100における精度対バッグサイズの曲線は顕著に類似しており、これは転送点がデータセットの難易度よりもモデルアーキテクチャーやトレーニング設定に依存していることを示している。
• 本手法は、個々のラベリングが費用がかかりすぎたり、不可能な医療画像分野などの応用分野において、ラベル割合からの正確な画像分類器の学習に成功し、実現可能性を示している。