[論文レビュー] TripletGAN: Training Generative Model with Triplet Loss

Gongze Cao, Yezhou Yang+4 more|arXiv (Cornell University)|Nov 14, 2017

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 9

ひとこと要約

この論文は、識別器における標準的な分類損失を三重損失に置き換えることで、より良いモードカバレッジと理論的収束性を実現する、TripletGANと呼ばれるGAN訓練手法を提案する。これは、積分確率測度（IPM）解析を用いて真のデータ分布への収束を保証する。生成器が同じクラス内でのサンプル間距離を最大化するよう促されることで、モード崩壊が効果的に抑制され、CIFAR-10、STL-10、CelebAベンチマークにおいて優れた生成品質を維持する。

ABSTRACT

As an effective way of metric learning, triplet loss has been widely used in many deep learning tasks, including face recognition and person-ReID, leading to many states of the arts. The main innovation of triplet loss is using feature map to replace softmax in the classification task. Inspired by this concept, we propose here a new adversarial modeling method by substituting the classification loss of discriminator with triplet loss. Theoretical proof based on IPM (Integral probability metric) demonstrates that such setting will help the generator converge to the given distribution theoretically under some conditions. Moreover, since triplet loss requires the generator to maximize distance within a class, we justify tripletGAN is also helpful to prevent mode collapse through both theory and experiment.

研究の動機と目的

• GANにおける持続的な問題であるモード崩壊（生成器がすべてのデータモードをカバーできないこと）を解消すること。
• 識別器の分類損失を三重損失に置き換えることで、訓練の安定性と生成器の多様性を向上させること。
• 積分確率測度（IPM）解析を用いて、生成器が真のデータ分布に収束することを理論的に正当化すること。
• 実験的に、TripletGANが、特に高精度な顔生成タスクにおいて、従来のGANや他の最先端のGANと比較して、より優れたモードカバレッジとサンプル多様性を達成することを検証すること。
• 明示的なラベルなしに、メトリクス学習の原則を敵対的訓練に統合する可能性を検討すること。

提案手法

• 識別器における標準的な交差エントロピー分類損失を、埋め込み空間内での類似クラス内距離の最小化と異常クラス間距離の最大化を目的とする三重損失に置き換える。
• 生成器を、埋め込み空間内での偽物サンプル間の距離を最大化するように訓練することで、多様性を促進し、モード崩壊を軽減する。
• 実サンプルおよび偽物サンプルを低次元空間にマップする埋め込みネットワークを用い、その空間で三重損失を計算する。
• 理論的分析により、三重損失の定式化がIPMの最小化に対応しており、やや厳しい条件下でも真のデータ分布への収束が保証されることを示している。
• 公平な評価のため、バッチ正規化を含まない標準的なDCGANに類似したアーキテクチャを採用する。
• 訓練中に困難なネガティブサンプル（ハードネガティブ）を抽出するためのハードネガティブマイニングを採用し、識別器の識別性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 識別器の分類損失を三重損失に置き換えることで、GANにおける収束性とモードカバレッジが向上するか？
• RQ2 生成器の訓練目的に三重損失を用いることで、モード崩壊の防止に寄与するか？
• RQ3 IPMの理論的収束保証が、三重損失を介した敵対的訓練へと拡張可能か？
• RQ4 TripletGANは、従来のGANや他の最先端のGANと比較して、サンプルの多様性とインセプションスコアにおいて優れているか？
• RQ5 明示的なラベルなしに、三重損失を条件付きGANに効果的に適用可能か？

主な発見

• CIFAR-10では、TripletGANがインセプションスコア4.42 ± 0.22を達成し、従来のGAN（1.85 ± 0.04）やWGAN（2.33 ± 0.04）を顕著に上回った。
• STL-10では、TripletGANがインセプションスコア6.44 ± 0.31を達成し、EBGAN（5.73 ± 0.20）やWGANを上回った。
• CelebAでは、64個のサンプルのうち21体の男性顔が生成されたのに対し、従来のGANではたった7体にとどまったため、より良好な人種的バランスとモードカバレッジが示された。
• 損失曲線から、TripletGANは、偽物の識別器損失がπに飽和しないという点で、訓練ダイナミクスが長期間にわたって維持されていることが分かった。これは、ハードトリプルの継続的な更新によるものである。
• バッチ正規化なしでも、TripletGANは多様で高品質なサンプルを生成でき、この手法のアーキテクチャ選択に対する内在的頑健性を示している。
• 理論的分析により、識別器における三重損失がIPMの最小化に対応しており、やや厳しい条件下でも生成器が真のデータ分布に収束することが保証された。