[論文レビュー] Fine-Grain Few-Shot Vision via Domain Knowledge as Hyperspherical Priors

B. Haney, Alexander Lavin|arXiv (Cornell University)|May 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 7

ひとこと要約

本論文は、ドメイン知識を情報的な事前分布として統合することで、少サンプルの細分化視覚分類を向上させるハイパースフィア型プロトタイプネットワークを提案する。クラスプロトタイプを事前属性（例：鳥の色、翼の模様）を用いてハイパースフィア上に埋め込むことで、CUB-200-2011でSOTAの1ショット精度59.48％を達成するとともに、標準的なユークリッド型プロトタイプネットワークと比較して学習時間を5倍速くした。

ABSTRACT

Prototypical networks have been shown to perform well at few-shot learning tasks in computer vision. Yet these networks struggle when classes are very similar to each other (fine-grain classification) and currently have no way of taking into account prior knowledge (through the use of tabular data). Using a spherical latent space to encode prototypes, we can achieve few-shot fine-grain classification by maximally separating the classes while incorporating domain knowledge as informative priors. We describe how to construct a hypersphere of prototypes that embed a-priori domain information, and demonstrate the effectiveness of the approach on challenging benchmark datasets for fine-grain classification, with top results for one-shot classification and 5x speedups in training time.

研究の動機と目的

• 微細分類において、クラス間の微小な差異がモデル性能を妨げるという課題に対処すること。
• 潜在空間に事前ドメイン知識（例：二値属性）を統合することで、プロトタイプの一般化性能を向上させること。
• 非ユークリッド的ハイパースフィア幾何を活用し、高次元埋め込み下でもより良いプロトタイプ分離と耐性を達成すること。
• 事前計算された事前分布を用いて、データに依存しないプロトタイプ最適化を可能にすることで、学習時間を短縮すること。
• 意味的事前分布が細分化タスクにおけるクラスタリングと推論安定性を向上させることを実証すること。

提案手法

• クラスプロトタイプが最大の角距離を保つように埋め込まれるハイパースフィア型潜在空間を用いることで、識別能を向上させる。
• ドメイン知識が二値属性（例：翼の色、背中の色）として符号化され、コサイン類似度の最大化によりハイパースフィア上のプロトタイプ位置が計算される。
• 任意の2つのクラスプロトタイプ間の最大コサイン類似度を最小化する制約付き最適化を用いて、事前にプロトタイプを初期化する。
• 推論は、画像埋め込みとすべてのクラスプロトタイプ間のコサイン類似度を計算し、類似度が最大のクラスを選択することで実行する。
• モデルはResNet32バックボーンを用い、SGD最適化と標準的なデータオーグメンテーション（ランダムクロップ、水平反転）を採用する。
• ハイパースフィア型プロトタイプ空間は一度だけ学習され、再利用可能であり、これによりデータに依存しない最適化が可能になり、学習が高速化される。

実験結果

リサーチクエスチョン

• RQ1 二値属性として符号化されたドメイン知識が、少サンプルの細分化画像分類性能を向上させるか？
• RQ2 事前分布を用いたハイパースフィア型潜在空間が、ユークリッド空間や最大に分散された球面空間と比較して、より良いプロトタイプ分離と耐性を達成するか？
• RQ3 データに依存しないプロトタイプ初期化が、精度を損なわせることなく学習時間を短縮できるか？
• RQ4 高次元において、表面積の崩壊問題を回避できるか？
• RQ5 意味的事前分布の統合が、細分化タスクにおけるクラスタリングと一般化にどのように影響するか？

主な発見

• 提案手法は、CUB-200-2011データセットで1ショット5クラス分類精度59.48％を達成し、標準的なユークリッド型および最大に分散されたハイパースフィア型プロトタイプを上回った。
• 学習時間は5倍速くなり、GeForce RTX 2080 Tiを用いた場合、1エポックあたりの学習時間を96秒から20秒に短縮した。
• 64次元および128次元の高次元ハイパースフィアにおいても、安定した性能を維持しており、表面積の崩壊や不安定性の兆候は観察されなかった。
• T-SNE可視化により、意味的に類似したクラス（例：セイタカバト）がまとまってクラスタリングされていることから、ドメイン事前分布の導入がプロトタイプの局所化を顕著に改善したことが示された。
• 5ショット5クラス設定では71.19％の精度を達成し、少数の例からの強力な一般化性能を示した。
• 入力ノイズに対して耐性を示し、ノイズの強いバード・スパローのインスタンスを正しくスパローと分類し、意味的に近くても異なるクラス（アメリカン・ピピット）に対しては低信頼度を割り当てた。