[論文レビュー] Regression Networks for Meta-Learning Few-Shot Classification

Arnout Devos, Matthias Grossglauser|arXiv (Cornell University)|May 31, 2019

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 4

ひとこと要約

本論文では、少数のラベル付き例での画像分類を目的とした回帰ネットワーク（Regression Networks）を提案する。クエリ点は、各クラスの埋め込み部分空間内での最も近い近似を回帰することで分類され、回帰誤差を距離尺度として用いる。本手法は、高次元埋め込みにおける方向情報の活用と、頑健なクラス部分空間モデリングにより、特に高ショット設定下で最先端の性能を達成する。

ABSTRACT

We propose regression networks for the problem of few-shot classification, where a classifier must generalize to new classes not seen in the training set, given only a small number of examples of each class. In high dimensional embedding spaces the direction of data generally contains richer information than magnitude. Next to this, state-of-the-art few-shot metric methods that compare distances with aggregated class representations, have shown superior performance. Combining these two insights, we propose to meta-learn classification of embedded points by regressing the closest approximation in every class subspace while using the regression error as a distance metric. Similarly to recent approaches for few-shot learning, regression networks reflect a simple inductive bias that is beneficial in this limited-data regime and they achieve excellent results, especially when more aggregate class representations can be formed with multiple shots.

研究の動機と目的

• 少数のラベル付き例でのみ新しいクラスに一般化できるモデルが求められる少数のラベル付き例での画像分類の課題に対処すること。
• 単純な重心比較に依存する既存のメトリックベースの手法が、高次元埋め込みにおける方向情報の活用を十分に行えないという限界を克服すること。
• 回帰ベースのクラス部分空間モデリングにより、より頑健で構造的な表現を学習することで、ドメインシフト下での一般化性能を向上させること。
• 低データ環境下で有益な誘導的バイアスを反映する、シンプルだが効果的なメタラーニングフレームワークを構築すること。
• 特に1クラスあたりのラベル例が1つより多い状況において、複数の少数のラベル付き分類ベンチマークで優れた性能を示すこと。

提案手法

• 学習可能なパラメータφを有するニューラルネットワークを用いて、入力画像を高次元埋め込み空間にマップする。
• 各クラスに対して、K個のサポートセット埋め込みfₚ(𝐱ₙᵢ)からK次元の部分空間行列Sₙを構築する。
• 各クエリ点eᵢに対して、各クラスの部分空間Sₙ内での最良の近似を学習された線形マッピングを用いて回帰する。
• クエリ点とクラス部分空間の間の距離の尺度として、回帰誤差d̃(eᵢ, Sₙ)を計算する。
• クエリ点を、回帰誤差が最小となるクラスに分類する。
• 訓練中に部分空間の直交化正則化項を用いることで、一般化性能の向上と学習された部分空間の冗長性の低減を図る。

実験結果

リサーチクエスチョン

• RQ1 クラス部分空間内での回帰ベースの近似は、クラス重心に基づく標準的なメトリック学習を上回る少数のラベル付き例での分類性能を実現できるか？
• RQ2 高次元埋め込みにおける方向情報の活用が、低ショット設定下での性能にどのように影響するか？
• RQ3 単一の点ではなく部分空間としてクラス表現をモデリングすることで、ドメインシフト下での一般化性能が向上するか？
• RQ4 ショット数の増加に伴って回帰ネットワークの性能はどのように変化するか（例：1ショット対5ショット対10ショット）？
• RQ5 ドメイン内およびドメイン外評価の両方において、ProtoNet や RelationNet などの最先端のメトリック学習ベースラインと比較して、本手法の性能はどの程度か？

主な発見

• 回帰ネットワークは、Conv-4、ResNet-10、ResNet-34といった複数のバックボーンを用いて、ミニImageNetで5クラス1ショット、5ショット、10ショット分類において、最先端の性能を達成した。
• ResNet-10バックボーンを用いた5クラス1ショットのミニImageNetでは、回帰ネットワークが74.03%の正確度を達成し、ProtoNet（73.77%）とRelationNet（69.97%）を上回った。
• 挑戦的な5クラス5ショットのミニImageNet → CUBドメインシフト設定下では、回帰ネットワークが62.71%の正確度を達成し、ProtoNet（59.22%）とRelationNet（54.36%）を顕著に上回った。
• 回帰ネットワークはドメインシフト下でも強固な性能を維持し、CUB → ミニImageNet設定でも56.66%の正確度を達成し、すべてのベースラインを上回った。
• ショット数が増加するにつれて、本手法はベースラインに対して一貫した改善を示した。これは、部分空間モデリングアプローチがより多くのサポート例を活用できることを示している。
• 部分空間直交化正則化項の導入により、一般化性能が向上し、特にドメインシフト状況下で顕著であった。これは、低データ環境下における本正則化項の有効性を裏付けている。