[論文レビュー] Learning from Label Proportions with Generative Adversarial Networks

Jiabin Liu, Bo Wang+3 more|arXiv (Cornell University)|Sep 5, 2019

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本稿では、制限のない分布的仮定を必要とせず、ラベル割合（LLP）からの学習を可能にする生成対抗ネットワークフレームワーク、LLP-GANを提案する。実際のインスタンスと生成された偽のサンプルの両方を分類するディスクライマの対抗学習を活用することで、LLP-GANはエンド・ツー・エンドでロバストなインスタンスレベル分類器を学習し、限定的な仮定の下で低い計算複雑性とグローバル最適性を達成し、ベンチマークデータセットで最先端の性能を発揮する。

ABSTRACT

In this paper, we leverage generative adversarial networks (GANs) to derive an effective algorithm LLP-GAN for learning from label proportions (LLP), where only the bag-level proportional information in labels is available. Endowed with end-to-end structure, LLP-GAN performs approximation in the light of an adversarial learning mechanism, without imposing restricted assumptions on distribution. Accordingly, we can directly induce the final instance-level classifier upon the discriminator. Under mild assumptions, we give the explicit generative representation and prove the global optimality for LLP-GAN. Additionally, compared with existing methods, our work empowers LLP solver with capable scalability inheriting from deep models. Several experiments on benchmark datasets demonstrate vivid advantages of the proposed approach.

研究の動機と目的

• 完全なインスタンスラベルが入手不可である弱教師あり設定において、袋レベルのラベル割合からのインスタンスレベル分類器の学習という課題に取り組む。
• 従来のLLP手法の限界、例えば厳密な分布的仮定やNP困難な最適化に起因するスケーラビリティの問題を克服する。
• 深層ネットワークの表現力と対抗学習を活用し、LLP設定における一般化性能とロバスト性を向上させる。
• 提案手法に理論的保証を確立する。具体的には、やや厳しい仮定の下でグローバル最適性と明示的な生成表現を含む。
• 大規模なベンチマークデータセットにおいて、既存の最先端手法と比較してスケーラビリティと性能向上を実証する。

提案手法

• 生成器が偽のサンプルを合成することで、ディスクライマが実際のインスタンスと生成されたサンプルを区別できるようにするGANフレームワークをLLP-GANが採用する。
• ディスクライマは実際のインスタンスをKクラスに分類し、偽のサンプルを(K+1)番目のクラスとして検出するように訓練され、最終分類器のエンド・ツー・エンド学習を可能にする。
• ディスクライマの損失関数に対して下界が導出され、分解表現を通じて事前分布のラベル割合と事後クラス尤度の関係が確立される。
• 生成器はi.i.d.な袋を仮定しない対抗学習により、元のデータ分布を学習し、柔軟性と一般化性能を向上させる。
• フレームワークは11クラス用のソフトマックス過パラメータ化分類ヘッドを組み込み、特徴の精錬にグローバル平均プーリングと1×1畳み込みを用いる。
• 明示的な変分推論や尤度最大化を避ける一方で、生成器とディスクライマの間の対抗均衡に依存する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、強い分布的仮定を必要とせず、ラベル割合のみからインスタンスレベル分類器を効果的に学習できるか？
• RQ2 LLP-GANにおける提案された対抗学習メカニズムは、LLP設定においてグローバル最適性と安定収束をどのように保証するか？
• RQ3 ディスクライマの出力における事前ラベル割合と事後クラス尤度の関係は何か？
• RQ4 大規模データセットにおいて、LLP-GANは既存の深層および浅層LLP手法と比較して、性能とスケーラビリティで優れているか？
• RQ5 本手法は、ランダムな袋の割り当てや変動する袋サイズの下でも、どれほどロバストであるか？

主な発見

• LLP-GANはMNIST、CIFAR-10、SVHN、CIFAR-100で最先端の性能を達成し、二値分類においてMNISTで0.047%という極めて低いテスト誤差率を記録した。
• CIFAR-10では、袋サイズが大きい条件下で、DLLPの22.59%からLLP-GANの1.61%にテスト誤差率が低下し、優れたスケーラビリティとロバスト性を示した。
• 複数回のランダムな袋割り当てにおいても、MNISTでの精度がわずか0.4%（98.94%から96.65%）の変動に抑えられ、高い安定性を維持した。
• やや厳しい仮定の下で、LLP-GANはグローバル最適性を達成し、クラス尤度の分解表現が理論的に裏付けられたものとなった。
• DLLPにエントロピー正則化を追加することは冗長であった。なぜなら、DLLP自体がすでに低いインスタンスレベルのエントロピーを達成しており、ベースラインに本質的な安定性が存在していたためである。
• フレームワークは低い計算複雑性と強いスケーラビリティを示し、NP困難な最適化に苦しむSVMベースの手法（InvCal や alter-∝ SVM）を凌駆した。