[論文レビュー] Improving Generalization via Scalable Neighborhood Component Analysis

Zhirong Wu, Alexei A. Efros+1 more|arXiv (Cornell University)|Aug 14, 2018

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 10

ひとこと要約

本稿では、オープンセット認識および少数ショット認識における一般化性能を向上させるために、メトリック学習を通じて深層特徴埋め込みを学ぶ非パrametric手法であるスケーラブルネIGHBORHOODコンポonentアナリシス（SNCA）を提案する。拡張された非パラメトリックメモリを用いてNCAを大規模データセットおよび深層ネットワークにスケーリングすることで、SNCAはImageNet分類タスクで最先端の性能を達成し、少数ショット学習においてもパラメトリックベースラインを顕著に上回り、未学習のカテゴリへの一般化性能が優れていることを示している。

ABSTRACT

Current major approaches to visual recognition follow an end-to-end formulation that classifies an input image into one of the pre-determined set of semantic categories. Parametric softmax classifiers are a common choice for such a closed world with fixed categories, especially when big labeled data is available during training. However, this becomes problematic for open-set scenarios where new categories are encountered with very few examples for learning a generalizable parametric classifier. We adopt a non-parametric approach for visual recognition by optimizing feature embeddings instead of parametric classifiers. We use a deep neural network to learn the visual feature that preserves the neighborhood structure in the semantic space, based on the Neighborhood Component Analysis (NCA) criterion. Limited by its computational bottlenecks, we devise a mechanism to use augmented memory to scale NCA for large datasets and very deep networks. Our experiments deliver not only remarkable performance on ImageNet classification for such a simple non-parametric method, but most importantly a more generalizable feature representation for sub-category discovery and few-shot recognition.

研究の動機と目的

• 新しいカテゴリが少数の例しか持たないようなオープンセットおよび少数ショット認識の場面において、パラメトリック分類器の限界を克服すること。
• 埋め込み空間における意味的近傍構造を保持する非パラメトリック特徴埋め込みを学習することで、一般化性能を向上させること。
• Neighborhood Component Analysis（NCA）基準を大規模データセットおよび深層ニューラルネットワークにスケーリングし、元来の計算上のボトル neck を克服すること。
• 学習された埋め込み上での単純なk-NN分類器が、ImageNetおよび少数ショットベンチマークで最先端のパラメトリックモデルと同等またはそれを上回ることを示すこと。

提案手法

• クラスラベルに基づく意味的類似度を埋め込み空間内の距離が反映するように、特徴埋め込みを最適化するため、Neighborhood Component Analysis（NCA）を活用する。
• 訓練中に効率的に更新可能な画像埋め込みを格納するため、拡張された非パラメトリックメモリを導入する。これにより、フルバッチ計算を回避できる。
• 入力画像を低次元埋め込み空間にマップするための深層ニューラルネットワークを用い、そこでのNCA損失を最小化する。
• 推論時において、学習済みのメトリックを用いてk-NN分類器を適用するが、少数ショット設定ではエピソードごとのファインチューニングを行わない。
• ミニバッチを用いた確率的訓練を実施し、各フォワードパス後にメモリを更新することで、データセットの完全な表現を維持する。
• 埋め込み空間における最近傍の期待精度を最大化することで、NCA目的関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 NCAのような非パラメトリックメトリック学習アプローチは、ImageNetのような大規模画像分類ベンチマークで競争力のある性能を達成できるか？
• RQ2 拡張メモリを用いたNCAによるメトリック学習は、少数ショットおよびオープンセット認識における一般化性能を向上させるか？
• RQ3 同じ訓練プロトコル下で、学習済み埋め込み上でのk-NN分類器は、最先端のパラメトリックモデルを上回る性能を示せるか？
• RQ4 フルバッチ計算ではなく外部の拡張メモリを用いることで、NCAのスケーラビリティはどのように変化するか？

主な発見

• ResNet18バックボーンを用いた場合、SNCAはImageNetでトップ-1精度57.8％を達成し、最先端のパラメトリックモデルに近い性能を示している。
• 少々のImageNet少数ショットベンチマークでは、5ウェイ5ショット設定で72.8％の精度を達成し、MAML やプロトタイプネットワークを含む先行手法を上回っている。
• 少々のImageNetの5ウェイ15ショット設定では44.8％の精度を達成し、より高ショットの少数ショット状況でも強い一般化性能を示している。
• 浅いネットワークでさえも、プロトタイプネットワークやリレーションネットワークと同等の性能を達成しており、アーキテクチャに依存しない有効性が示されている。
• 未学習のカテゴリに対しても良好な一般化が行われており、5ウェイ5ショット設定で30.5％のトップ-1精度を示しており、優れた転送性を示している。
• アブレーションにより、拡張メモリ機構がNCAを大規模データセットおよび深層ネットワークに効果的にスケーリング可能にし、従来の計算上の制限を克服していることが明らかになった。