[論文レビュー] Low-shot Learning via Covariance-Preserving Adversarial Augmentation Networks

Hang Gao, Zheng Shou+3 more|arXiv (Cornell University)|Oct 27, 2018

Domain Adaptation and Few-Shot Learning被引用数 81

ひとこと要約

論文は Covariance-Preserving Adversarial Augmentation Networks (CP-AAN) を導入し、関連ベースクラスを用いて新規クラスの潜在分布をモデリングし、共分散を保持して低ショット学習のために多様で現実的な特徴を生成し、ImageNet の最先端の結果を達成する。

ABSTRACT

Deep neural networks suffer from over-fitting and catastrophic forgetting when trained with small data. One natural remedy for this problem is data augmentation, which has been recently shown to be effective. However, previous works either assume that intra-class variances can always be generalized to new classes, or employ naive generation methods to hallucinate finite examples without modeling their latent distributions. In this work, we propose Covariance-Preserving Adversarial Augmentation Networks to overcome existing limits of low-shot learning. Specifically, a novel Generative Adversarial Network is designed to model the latent distribution of each novel class given its related base counterparts. Since direct estimation of novel classes can be inductively biased, we explicitly preserve covariance information as the `variability' of base examples during the generation process. Empirical results show that our model can generate realistic yet diverse examples, leading to substantial improvements on the ImageNet benchmark over the state of the art.

研究の動機と目的

• ごくわずかな例から新しい概念を学習する動機づけと、ファインチューニング時の崩壊的忘却の緩和。
• 潜在分布をモデリングしつつ、基底クラスの特徴を新規クラスの特徴へ翻訳するGANベースの枠組みを提案する。
• 新規クラスデータを生成する際の現実的なばらつきを維持するため、クラス内共分散を保持する。
• 翻訳に関連する基底クラスを選択するためのNeighborhood Batch Samplingを導入する。
• 従来手法よりも低ショットおよび一般化性能がImageNetで改善されることを示す。

提案手法

• G_n が基底クラスの特徴を新規クラスへ翻訳する不均衡な集合間翻訳を定式化する。
• 学習済み埋め込み空間のクラスプロトタイプに基づいて、Novelクラスと意味的に類似する基底クラスをペアリングするNeighborhood Batch Sampling (NBS) を用いる。
• いくつかの GAN バリアントを開発する：c-GAN、cCyc-GAN、cDeLi-GAN、および共分散保持型の cCov-GAN。
• 基底クラスと生成クラスの特徴共分散のずれを測る共分散距離項 d_cov を導入し、切り詰められた SVD に基づく指標を用いる。
• L_cov を新規-基底ペアの共分散距離の期待値として定義し、ばらつきを保持した生成を導く。
• cCov-GAN における G_n と G_b の最終目的関数に対し、敵対的損失、サイクル整合性損失、および L_cov を組み合わせる。
• 2 段階の学習：テスト時の低ショットを模倣するための基底データを用いたメタ訓練、次に新規クラスとその低ショット例を用いたメタテストでデータを増強して最終分類器訓練を行う。
• Prototypical Network の埋め込みや ResNet の埋め込みを用いて、エピソディックサンプリングと標準的なGAN最適化を行う。

実験結果

リサーチクエスチョン

• RQ1 共分散を保持する敵対的増強は、素朴な GAN やサイクル整合性を持つ GAN と比較して、より多様で現実的な新規クラス特徴を生み出せるのか？
• RQ2 翻訳時に基底クラスのクラス内共分散を保持することで、ImageNet における低ショットおよび一般化認識は改善されるか？
• RQ3 Neighborhood Batch Sampling が新規クラスへの翻訳可能な基底クラスの選択にどれだけ有効か？
• RQ4 さまざまな GAN バリアント（c-GAN、cCyc-GAN、cDeLi-GAN、cCov-GAN）が、生成の多様性と下流の分類精度の双方に及ぼす影響はどの程度か？

主な発見

• CP-AAN with covariance preservation (cCov-GAN) achieves the best performance among tested variants, showing substantial gains over prior augmentation methods.
• In low-shot learning on ImageNet, cCov-GAN improves top-5 accuracy across K-shot settings, outperforming baselines by notable margins.
• Covariance preservation leads to more diverse and realistic generated features, facilitating better generalization to novel classes.
• Neighborhood Batch Sampling (NBS) improves low-shot recognition compared to standard batch sampling, with soft NBS (NBS-S) generally preferred.
• Ablations show cycle-consistency and Gaussian noise variants improve generation but may misestimate diversity; covariance-based loss yields the most faithful diversity and classification gains.
• Quantitative results indicate the proposed method achieves state-of-the-art performance on ImageNet under both conventional low-shot learning (LSL) and generalized (GLSL) settings.