[論文レビュー] GistNet: a Geometric Structure Transfer Network for Long-Tailed Recognition

Bo Liu, Haoxiang Li+3 more|arXiv (Cornell University)|May 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 4

ひとこと要約

GistNetは、クラス幾何構造を高ショットクラスから少ショットクラスへ転送する幾何構造転送フレームワークを提案する。これは、クラス固有の中心と共有移動ベクトルを用いる新しい分類器アーキテクチャにより、一般的なクラスへのオーバーフィットを活用することで実現される。GIST学習アルゴリズムは、クラスバランスサンプリングとランダムサンプリングを組み合わせ、高ショットクラスから少ショットクラスへ幾何構造を転送する。手動でのクラスウェイト調整や明示的なクラスグループ化を必要とせず、最先端の性能を達成する。

ABSTRACT

The problem of long-tailed recognition, where the number of examples per class is highly unbalanced, is considered. It is hypothesized that the well known tendency of standard classifier training to overfit to popular classes can be exploited for effective transfer learning. Rather than eliminating this overfitting, e.g. by adopting popular class-balanced sampling methods, the learning algorithm should instead leverage this overfitting to transfer geometric information from popular to low-shot classes. A new classifier architecture, GistNet, is proposed to support this goal, using constellations of classifier parameters to encode the class geometry. A new learning algorithm is then proposed for GeometrIc Structure Transfer (GIST), with resort to a combination of loss functions that combine class-balanced and random sampling to guarantee that, while overfitting to the popular classes is restricted to geometric parameters, it is leveraged to transfer class geometry from popular to few-shot classes. This enables better generalization for few-shot classes without the need for the manual specification of class weights, or even the explicit grouping of classes into different types. Experiments on two popular long-tailed recognition datasets show that GistNet outperforms existing solutions to this problem.

研究の動機と目的

• オーバーフィットを是正するのではなく、高ショットクラスから低ショットクラスへ幾何構造を転送することで、長尾認識を改善すること。
• 長尾データ分布下での深層分類器トレーニングにおいて、手動でのクラスウェイト調整やヒューリスティックな手法を回避すること。
• 標準トレーニングの固有のオーバーフィット傾向を自然に活用し、少ショットクラスの一般化性能を向上させるデータ駆動型手法の開発。
• クラス幾何構造を、クラス固有の中心と共有移動ベクトルを含むパラメータの「連星」構造として明示的にモデル化する分類器アーキテクチャの設計。

提案手法

• GistNetは、クラス固有の中心と共有移動ベクトルを用いる分類器アーキテクチャを採用し、パラメータの『連星』を形成することでクラス幾何構造を符号化する。
• モデルは、クラスバランスサンプリングとランダムミニバッチの両方を用いるハイブリッドトレーニング戦略を採用し、中心はクラスバランスサンプリングで、移動ベクトルはランダムサンプリングで学習する。
• 幾何的構造転送（GIST）損失は、交差エントロピーと幾何正則化を組み合わせ、共有移動ベクトルが多くのショットクラスが自然に学習した幾何構造を継承するよう促進する。
• 移動ベクトルはランダムサンプリングを通じて学習され、標準分類器の高ショットクラスへのオーバーフィットを活用することで、幾何構造が少ショットクラスへ転送される。
• 中心学習（クラス固有）と幾何学習（共有）を分離するために、二重サンプリング戦略に依存することで、明示的なクラスウェイトを回避する。
• パラメータ連星は $ \mathbf{w}_{kj} = \mathbf{w}_k + \delta_j $ で定義され、ここで $ \mathbf{w}_k $ はクラス中心、$ \delta_j $ は共有移動ベクトルであり、クラス頻度に依存しない幾何構造を形成する。

Figure 1: Left: in long-tailed recognition, the small number of samples from medium- and few-shot classes make it difficult to learn their geometry, leading to inaccurate class boundaries. This is unlike many-shot classes, whose natural geometry can usually be learned. Middle: the boundaries are cor

実験結果

リサーチクエスチョン

• RQ1 標準トレーニングにおける一般的なクラスへのオーバーフィットを是正するのではなく、少ショット一般化性能の向上に活用できるか？
• RQ2 十分に学習された多くのショットクラスの幾何構造を、手動でのクラスウェイト調整なしに、効果的に少ショットクラスへ転送できるか？
• RQ3 共有移動ベクトル表現は、標準分類器と比較して、少ショットクラスの一般化性能を向上させられるか？
• RQ4 GistNetアーキテクチャは、移動ベクトルの数やその関数的形態の変化に対してどれほど頑健か？

主な発見

• GistNetは、2つの長尾認識ベンチマークで最先端の性能を達成し、手動でのクラスウェイト調整なしに既存手法を上回る。
• アブレーションスタディの結果、クラスバランスサンプリングとランダムサンプリングの併用が不可欠であることが示された。ランダムサンプリング損失を削除すると（COS+CS+GIST）、多くのショットデータに中心が過剰にフィットし、少ショット性能が低下する。
• パラメータ連星に回転や学習関数 $ g $ を用いる場合、単純な加算に比べて性能向上がほとんど見られず、実装細部よりも幾何制約の重要性が顕著であることが示された。
• 最適な移動ベクトル数 $ m $ は4であり、少ショットクラスでは $ m=8 $ で性能が飽和またはわずかに向上するため、幾何構造転送が低リソースクラスに最も効果的であることが示された。
• t-SNE可視化により、GistNetは特に少ショットクラスにおいて、ベースラインモデルと比較してより明確に分離され、一貫性のあるクラス境界を生成することが確認された。
• 推論解析の結果、79.2%のクラスが少なくとも10%のテストサンプルで全4つの移動ベクトルを活用しており、モデルが単一の連星に崩壊していないことが示された。

Figure 2: GistNet approximates the shared geometry by a constellation (mixture) of spherical Gaussians.