[論文レビュー] Is Discriminator a Good Feature Extractor?

Xin Mao, Zhaoyu Su+3 more|arXiv (Cornell University)|Dec 2, 2019

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 10

ひとこと要約

本稿は、生成対抗ネットワーク（GANs）における識別器が転移学習のための優れた特徴抽出器として機能するかどうかを調査する。線形代数的分析を通じて、識別器の特徴品質はその分類タスクに起因するのではなく、GAN学習中のモード崩壊を防ぐ役割に起因することを示している。その結果、ノイズに強く、頑健な特徴が得られる。研究では、ソースタスクとターゲットタスクが類似している場合、分類器ベースの特徴抽出器が一般的に識別器ベースのものよりも優れるが、識別器が持つノイズ抑制能力のおかげで、特定の状況では代替不可能であることが判明した。

ABSTRACT

The discriminator from generative adversarial nets (GAN) has been used by researchers as a feature extractor in transfer learning and appeared worked well. However, there are also studies that believe this is the wrong research direction because intuitively the task of the discriminator focuses on separating the real samples from the generated ones, making features extracted in this way useless for most of the downstream tasks. To avoid this dilemma, we first conducted a thorough theoretical analysis of the relationship between the discriminator task and the features extracted. We found that the connection between the task of the discriminator and the feature is not as strong as was thought, for that the main factor restricting the feature learned by the discriminator is not the task, but is the need to prevent the entire GAN model from mode collapse during the training. From this perspective and combined with further analyses, we found that to avoid mode collapse, the features extracted by the discriminator are not guided to be different for the real samples, but divergence without noise is indeed allowed and occupies a large proportion of the feature space. This makes the features more robust and helps answer the question as to why the discriminator can succeed as a feature extractor in related research. Consequently, to expose the essence of the discriminator extractor as different from other extractors, we analyze the counterpart of the discriminator extractor, the classifier extractor that assigns the target samples to different categories. We found the performance of the discriminator extractor may be inferior to the classifier based extractor when the source classification task is similar to the target task, which is the common case, but the ability to avoid noise prevents the discriminator from being replaced by the classifier.

研究の動機と目的

• GAN識別器が、本質的に本物と生成されたサンプルを区別するためのものであるにもかかわらず、転移学習で効果的な特徴抽出器であるかどうかの議論を解消すること。
• 識別器特徴が転移学習において優れた一般化性能を示す背後にあるメカニズムを分析し、タスクの整合性が主な要因であるという仮定に疑問を呈すること。
• ドメインシフト下でも、識別器ベースの特徴抽出器と分類器ベースのものとの間で性能と頑健性を比較すること。
• モード崩壊を防ぐ要因となるGAN学習における特定の比の役割を解明し、GAN研究の基盤的知見を提供すること。

提案手法

• 識別器のタスクとそれが学習する特徴の関係を理論的線形代数的分析で行う。
• MNISTおよびCIFAR-10データセット上で、識別器と分類器の特徴抽出器を共有エンコーダーフレームワークを用いて比較する。
• ソースとターゲットネットワーク間の共有層を体系的に削除し、特徴転送性能に与える影響を評価する。
• アーキテクチャ的共有度を変化させた状態で転送精度を測定し、特徴の頑健性とタスク整合性を評価する。
• 特徴表現の零空間を分析し、タスク固有のノイズに影響されない成分を同定する。
• モード崩壊防止に寄与するGAN学習における重要な比を同定し、新たな訓練指標の提案を行う。

実験結果

リサーチクエスチョン

• RQ1 識別器は特徴の分離を意図して訓練されていないにもかかわらず、なぜ転移学習で優れた性能を示すのか？
• RQ2 識別器がモード崩壊を防ぐ役割を果たすことで、学習した特徴の質と一般化性能にどのような影響を与えるのか？
• RQ3 ソースタスクとターゲットタスクが類似している場合、識別器ベースの特徴抽出器と分類器ベースのものとの性能はどのように比較されるか？
• RQ4 ノイズ頑健性が識別器ベース特徴抽出器の成功に果たす役割とは何か？なぜそれが代替不可能なのか？
• RQ5 GAN学習におけるモード崩壊を支配する背後にある比は何か？そして、それがより良い訓練戦略の立案にどのように寄与するか？

主な発見

• 識別器は本物のサンプルに対して特徴を別々にガイドするのではなく、主にモード崩壊を防ぐ役割を果たすことで、ノイズに強い特徴表現が得られる。
• MNISTでの実験では、すべての共有層を削除した場合、分類器ベースの抽出器が識別器ベースのものよりも最大2.69%高い精度を示し、タスク整合性に優れていることが示された。
• CIFAR-10では、2つの共有層を削除した場合、分類器と識別器の抽出器の性能差が6.62%にまで拡大し、ドメインシフト下でも分類器ベースのアプローチがより優れた一般化性能を示した。
• タスクが類似している場合、精度で劣るものの、識別器ベースの抽出器はその内在的なノイズ頑健性により、優れた性能を維持しており、分類器に匹敵しない。
• 本研究では、GAN学習におけるモード崩壊防止に重要な役割を果たす比を同定し、GAN学習の安定性向上に向けた新たな方向性を示唆した。
• 特徴表現の零空間はノイズに頑健な成分を捉えており、識別器の強みはタスク固有の特徴学習にあるのではなく、タスクに不要な変動を排除することにあり、それゆえに特徴の質が向上していると考えられる。