[論文レビュー] Generative Adversarial Residual Pairwise Networks for One Shot Learning

Akshay Mehrotra, Ambedkar Dukkipati|arXiv (Cornell University)|Mar 23, 2017

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 79

ひとこと要約

Skip Residual Pairwise Networks (SRPN)を導入して、ワンショット学習の trainable な類似度メトリックを学習し、Generative Regularizer (GR) をGANsを用いて類似性マッチングを正則化する。SRPNは mini-Imagenet のワンショットタスクで最先端を達成し、SRPNはベースラインを上回り、GRはデータセットと訓練の安定性に応じて可変的な効果を示す。

ABSTRACT

Deep neural networks achieve unprecedented performance levels over many tasks and scale well with large quantities of data, but performance in the low-data regime and tasks like one shot learning still lags behind. While recent work suggests many hypotheses from better optimization to more complicated network structures, in this work we hypothesize that having a learnable and more expressive similarity objective is an essential missing component. Towards overcoming that, we propose a network design inspired by deep residual networks that allows the efficient computation of this more expressive pairwise similarity objective. Further, we argue that regularization is key in learning with small amounts of data, and propose an additional generator network based on the Generative Adversarial Networks where the discriminator is our residual pairwise network. This provides a strong regularizer by leveraging the generated data samples. The proposed model can generate plausible variations of exemplars over unseen classes and outperforms strong discriminative baselines for few shot classification tasks. Notably, our residual pairwise network design outperforms previous state-of-theart on the challenging mini-Imagenet dataset for one shot learning by getting over 55% accuracy for the 5-way classification task over unseen classes.

研究の動機と目的

• Improve one-shot learning by learning a trainable, expressive similarity measure via a Skip Residual Siamese Network (SRPN).
• Enhance regularization in low-data regimes using a GAN-based Generative Regularizer (GR) that conditions on unseen classes.
• Demonstrate state-of-the-art performance on challenging one-shot benchmarks (mini-Imagenet) and assess regularization benefits on Omniglot.

提案手法

• Skip Residual Pairwise Network (SRPN)を提案し、2枚の画像をsplit residual pathsを通して処理し、2クラスのバイナリクロスエントロピーボ-objectiveで最適化される単一の類似埋め込みを生成。
• ペアワイズネットワークをエンドツーエンドで訓練可能にし、距離測度を特徴表現と共に学習可能とする。
• Generative Regularizer (GR)を導入し、識別子D_phiは2つのサンプルが同一クラス分布から来たかを判断し、ジェネレータG_thetaは条件付き画像の妥当な変化を生成して類似性タスクを正則化する。
• ジェネレータは対立損失に基づくノイズ除去オートエンコーダとして機能し、識別器は同一クラス対異なるクラスのペアを識別し、生成サンプルを偽物として識別するよう訓練される。
• SRPNとGRをOmniglotとmini-Imagenetで標準的なfew-shotプロトコル下で評価する。Adam最適化とL2正則化をGRを除いて適用する。
• 該当する場合、Pixel Distance、Nearest Neighbour、Matching Nets (FCE)、Meta-Learner LSTM、Conv ARC with L2 Reg、Prototypical Networksなどのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 学習可能でEnd-to-Endに学習された類似度 metric は、固定メトリックよりも1-shotおよびfew-shotの分類性能を向上させるか？
• RQ2 GANベースの生成正則化を組み込むことで、低データ領域における unseen クラスへの一般化は改善されるか？
• RQ3 SRPNアーキテクチャは収束速度、パラメータ効率、学習された類似度の対称性特性にどのような影響を与えるか？
• RQ4 標準の1-shot/5-shot設定でOmniglotとmini-ImagenetにおけるSRPNとGRの経験的利得はどれくらいか？

主な発見

モデル	1ショット	5ショット
Omniglot - 20-way One-shot	SRPN 55.2	-
Pixel Distance [34]	26.7	-
Baseline w/ Nearest Neighbour [23]	41.1	-
Matching Nets FCE [34]	46.6	-
Meta-Learner LSTM [34]	43.4	-
Conv ARC w/ L2 Reg [29]	49.1	-
Prototypical Networks [30]	49.4	-
Baseline (Wide ResNet depth=40)	50.7	-
SRPN (Omniglot)	55.2	-
Mini-Imagenet - 1-shot 5-way	SRPN 55.2	69.6
Pixel Distance [34]	23.0	26.0
Baseline w/ Nearest Neighbour [23]	41.1	51.0
Matching Nets FCE [34]	46.6	60.0
Meta-Learner LSTM [23]	43.4	60.6
Conv ARC w/ L2 Reg [29]	49.1	-
Prototypical Networks [30]	49.4	68.2
Baseline Wide ResNet (depth=40)	50.7	66.0
SRPN	55.2	69.6

• SRPN は Residual Siamese ベースラインを上回り、mini-Imagenet の5-way One-shotタスクで最先端の性能を達成する。
• Omniglot では、GR が Siam-I のOne-shot設定でL2正則化より改善を提供し、生成データを介した正則化の効果を示す。
• SRPN は収束が早く、ベースラインより平均ウェイトが小さく、距離統計を固定するのではなく適応させることで一般化が向上することを示唆する。
• GR はGAN訓練の不安定性のため mini-Imagenet では混合的な結果を示すが、単純データ（Omniglot）ではL2より強力な正則化として有望である。
• ベースラインの深層モデル（Wide ResNet）はすでに mini-Imagenet で強いOne-shot結果を達成しており、SRPN はこれらを深さに応じたペア処理でさらに改善する。