[論文レビュー] Generative Adversarial Forests for Better Conditioned Adversarial Learning

Yan Zuo, Gil Avraham+1 more|arXiv (Cornell University)|May 14, 2018

Adversarial Robustness in Machine Learning参考文献 32被引用数 4

ひとこと要約

本稿では、標準的な全結合判別器を決定木フォレストに置き換えることで、より良い勾配の条件付けにより学習安定性を向上させる、新しいGANフレームワークである生成的対抗フォレスト（GAF）を提案する。判別器に決定木フォレストを統合することで、Oxford FlowersおよびCelebAデータセットにおいて、DCGAN、ABC-GANその他のGAN変種と比較して、質的・量的に優れた学習安定性と画像生成品質を達成した。

ABSTRACT

In recent times, many of the breakthroughs in various vision-related tasks have revolved around improving learning of deep models; these methods have ranged from network architectural improvements such as Residual Networks, to various forms of regularisation such as Batch Normalisation. In essence, many of these techniques revolve around better conditioning, allowing for deeper and deeper models to be successfully learned. In this paper, we look towards better conditioning Generative Adversarial Networks (GANs) in an unsupervised learning setting. Our method embeds the powerful discriminating capabilities of a decision forest into the discriminator of a GAN. This results in a better conditioned model which learns in an extremely stable way. We demonstrate empirical results which show both clear qualitative and quantitative evidence of the effectiveness of our approach, gaining significant performance improvements over several popular GAN-based approaches on the Oxford Flowers and Aligned Celebrity Faces datasets.

研究の動機と目的

• GAN学習における不安定さと劣悪な勾配条件付け、特に脆弱なミニマックス最適化に起因する問題を解決すること。
• 判別器の非線形データ分布をより効果的に扱える能力を高めることで、GAN学習の安定性を向上させること。
• GANと決定木フォレストを統合した、エンドツーエンドで学習可能な新しいフレームワークを構築すること。
• 公平で一般化可能なGAN性能比較が可能な新しい定量的指標「競合的GAN調整損失」を導入すること。
• より良好に条件付けられた判別器が、より安定的かつ効果的なGAN学習をもたらすことを実証的に検証すること。

提案手法

• 標準的なGAN判別器の最終全結合層を、非線形特徴の識別を向上させるために決定木フォレストに置き換える。
• フォレスト出力の微分可能近似を用いて、バックプロパゲーションによりフォレストをGAN全体と同時にエンドツーエンドで学習する。
• DCGANアーキテクチャにフォレストベースの判別器を統合し、生成的対抗フォレスト（GAF）フレームワークを構築する。
• 公平な比較が可能なよう、新たな損失調整メカニズムを用いて競合的GAN調整損失を計算する。
• 従来の全結合層よりも、複雑な高次元データ分布をより効果的に学習できるように、フォレストベースの判別器を適用する。
• 訓練の安定性を、判別器損失曲線、検証セットでの一般化性能、時間経過に伴う勾配条件付け指標の観察を通じてモニタリングする。

実験結果

リサーチクエスチョン

• RQ1 標準的な全結合判別器を決定木フォレストに置き換えることで、GAN学習の勾配条件付けと安定性が向上するか？
• RQ2 GANに決定木フォレストを統合することで、一般化性能が向上し、モード崩壊が軽減されるか？
• RQ3 調整済み対数損失に基づく新しい定量的指標が、異なるアーキテクチャ間でのGAN性能比較において、より信頼性があり、推移性のある評価を可能にするか？
• RQ4 GAFの訓練安定性は、DCGANやABC-GANと比較して、損失収束および時間経過に伴う一般化性能の観点で優れているか？
• RQ5 決定木フォレストの非線形識別能力が、線形またはReLUベースの分類器に比べ、GANの判別器において顕著に優れているか？

主な発見

• Oxford Flowersデータセットでは、GAF-deepが競合的GAN調整損失1.40を達成し、DCGAN（3.14）およびABC-GAN（2.15）を顕著に上回った。
• CelebAデータセットでは、GAF-deepが調整損失1.40を達成し、ABC-GANおよびDCGANの両者に対して1.74ポイントの改善を示した。
• GAFモデルは、20万イテレーション経過後でさえ過学習の兆候が見られず、DCGANとは異なり、より安定した判別器損失曲線を示した。
• 勾配条件付けの分析から、GAFは訓練全体を通じて良好に条件付けられた勾配を維持していたが、DCGANでは時間経過に伴い条件付けが劣化した。
• 図5の定性的な結果から、GAFはWGANその他のベースラインと比較して、より高品質で多様性に富んだサンプルを生成したことが明らかになった。特に細部の再現性に優れていた。
• 調整損失差の推移的順序（例：GAF-deep > GAF-shallow > ABC-GAN > DCGAN）が、GAN性能の順序付けにおいて指標の信頼性を裏付けた。