[論文レビュー] Semi-Supervised Learning with GANs: Revisiting Manifold Regularization

Bruno Lecouat, Chuan-Sheng Foo+2 more|arXiv (Cornell University)|May 23, 2018

Advanced Vision and Imaging被引用数 14

ひとこと要約

本論文は、GANを用いてラプラシアンノルムのモンテカルロ推定により多様体正則化を近似することで、半教師あり学習のための単純で効率的な手法を提案する。特徴マッチング GAN のディスクライマのヤコビアンに基づく正則化子を適用することにより、CIFAR-10（14.45％の誤差）で最先端の結果を達成し、従来の GAN に基づく手法と比較して大幅に実装の複雑さが低減された。

ABSTRACT

GANS are powerful generative models that are able to model the manifold of natural images. We leverage this property to perform manifold regularization by approximating the Laplacian norm using a Monte Carlo approximation that is easily computed with the GAN. When incorporated into the feature-matching GAN of Improved GAN, we achieve state-of-the-art results for GAN-based semi-supervised learning on the CIFAR-10 dataset, with a method that is significantly easier to implement than competing methods.

研究の動機と目的

• GAN がデータ多様体をモデル化できる能力を活用することで、GAN に基づく半教師あり学習を単純化・改善すること。
• 明示的な接ベクトルの計算を伴わずに、深層ニューラルネットワークにおける多様体正則化を効率的に推定する課題に対処すること。
• 複雑な操作（例：潜在コード最適化や補助ネットワーク）を避けることにより、効果的で実装が容易な手法を開発すること。
• 最小限のアーキテクチャ的および訓練の変更で、ベンチマークデータセットで最先端の性能を達成すること。
• 敵対的訓練中にヤコビアン正則化子と生成器との相互作用を調査すること。

提案手法

• 本手法は、GAN の潜在空間からのモンテカルロサンプリングを用いて分類器のラプラシアンノルムを近似し、データ多様体上の明示的な接ベクトルの必要性を排除する。
• 生成器の潜在コードに関するヤコビアンを多様体勾配の代理として用い、確率的有限差分により効率的な計算を可能にする。
• 正則化子はヤコビアンのフロベニウスノルムとして定義され、$ \frac{1}{n} \sum_{i=1}^{n} \| J_z f(g(z^{(i)})) \|^2_F $ と表され、小さなランダムな摂動 $ \epsilon \bar{\delta} $ を用いて近似される。
• Salimans ら（2016）の特徴マッチング GAN の目的関数に正則化子を組み込み、ディスクライマの損失のみを変更する。
• 潜在コードの推論を要する手法とは異なり、入力データポイントにおける明示的正則化を回避することで、実装が簡素化される。
• ハイパーパramータ（例：$ \epsilon$）はバリデーションセット上でチューニングされ、大規模な未ラベルデータセットに対しても効率的にスケーリング可能である。

実験結果

リサーチクエスチョン

• RQ1 GAN を用いて潜在空間のモンテカルロサンプリングにより、多様体正則化を効率的に近似できるか？
• RQ2 確率的有限差分によるヤコビアンベース正則化は、訓練の複雑さを増すことなく、半教師あり GAN の一般化性能を向上させるか？
• RQ3 本手法は、最先端の GAN に基づく半教師あり学習手法と比較して、性能と実装の容易さの両面で優れているか？
• RQ4 ディスクライマのバックプロパゲーションのみが対象であるにもかかわらず、敵対的訓練中に正則化子が生成器に与える影響は何か？
• RQ5 本手法は、CIFAR-10 や SVHN のような標準ベンチマークで、最小限のアーキテクチャ的変更で最先端の結果を達成できるか？

主な発見

• 提案手法は、4,000 個のラベル付きサンプルを用いた CIFAR-10 で 14.45％ ± 0.21 のテスト誤差率を達成し、すべての先行 GAN に基づく手法を上回った。
• 1,000 個のラベル付きサンプルを用いた SVHN では、4.51％ ± 0.22 の誤差率を達成し、最先端のアプローチと非常に競争力のある性能を示した。
• ベースとなる特徴マッチング GAN（「Improved GAN」として呼ばれる）の実装は、元の実装を上回った。これは GAN がハイパーパramータに非常に敏感であることを示している。
• 多様体正則化の追加により、CIFAR-10 では 1％ 以上、SVHN ではほぼ 1％ の誤差低減が確認され、一貫した改善効果が示された。
• BadGAN や他の最先端の代替手法（例：偽ラベル生成のための PixelCNN を必要とする）と比較して、本手法ははるかに実装が簡単であった。
• 直接的な影響ではないものの、生成器の生成サンプルは妥当なままであり、GAN の訓練ダイナミクスを著しく損なわないことが示された。