[論文レビュー] Large-Scale Long-Tailed Recognition in an Open World

Ziwei Liu, Zhongqi Miao+4 more|arXiv (Cornell University)|Apr 10, 2019

Domain Adaptation and Few-Shot Learning参考文献 64被引用数 65

ひとこと要約

動的メタ埋め込みとモジュレート付き注意を組み合わせて、頭部とテイルの共有、少数ショット一般化、およびオープンセットの新規性を1つの統合フレームワークで扱う Open Long-Tailed Recognition (OLTR) を提案し、主要なオープン長尾ベンチマークで検証する。

ABSTRACT

Real world data often have a long-tailed and open-ended distribution. A practical recognition system must classify among majority and minority classes, generalize from a few known instances, and acknowledge novelty upon a never seen instance. We define Open Long-Tailed Recognition (OLTR) as learning from such naturally distributed data and optimizing the classification accuracy over a balanced test set which include head, tail, and open classes. OLTR must handle imbalanced classification, few-shot learning, and open-set recognition in one integrated algorithm, whereas existing classification approaches focus only on one aspect and deliver poorly over the entire class spectrum. The key challenges are how to share visual knowledge between head and tail classes and how to reduce confusion between tail and open classes. We develop an integrated OLTR algorithm that maps an image to a feature space such that visual concepts can easily relate to each other based on a learned metric that respects the closed-world classification while acknowledging the novelty of the open world. Our so-called dynamic meta-embedding combines a direct image feature and an associated memory feature, with the feature norm indicating the familiarity to known classes. On three large-scale OLTR datasets we curate from object-centric ImageNet, scene-centric Places, and face-centric MS1M data, our method consistently outperforms the state-of-the-art. Our code, datasets, and models enable future OLTR research and are publicly available at https://liuziwei7.github.io/projects/LongTail.html.

研究の動機と目的

• 頭部・テイル・オープンクラス間の均等評価を保ちながら、長尾分布とオープンセット新規性を組み合わせた OLTR タスクを定義する。
• 動的メタ埋め込みを通じて頭部とテイル間で知識を共有し、校正された埋め込みノルムによってテイルとオープンクラスを識別する統合モデルを開発する。
• 大規模な OLTR ベンチマーク（ImageNet-LT、Places-LT、MS1M-LT）を整備し、最新ベースラインに対する優れた性能を示す。
• メモリベースの転送、概念セレクタ、到達可能性の較正、モジュレート注意など、エンドツーエンドで学習可能な要素を提供し、大規模データセットへ拡張可能とする。

提案手法

• ダイナミックメタ埋め込みは、直接の画像特徴と、視覚メモリ M に学習された識別的セントロイドを表すメモリ特徴を結合する。
• メモリ特徴 v^{memory} は v^{memory}=o^{T}M として形成され、o=T_hal(v^{direct}) であり M はクラスセントロイドを含む；概念セレクタ e=T_sel(v^{direct}) はメモリの寄与を調整する。
• メタ埋め込みは v^{meta} = (1/γ) * (v^{direct} + e ⊗ v^{memory})。γ は 到達性（メモリセントロイドへの最小距離）。
• 到達性較正は γ を用いて、オープンセットのインスタンス（メモリからの距離が大きい）と既知クラス（距離が小さい）を区別する。
• モジュレート注意 (MA) は自己注意マップに条件付き空間的注意を適用し、文脈選択を通じて頭部とテイルの判別を促進する。 f^{att} = f + MA(f) ⊗ SA(f)。
• 正規化されたメタ埋め込みと重みを用いたコサイン分類器を用い、スケーリングを安定化させるために v^{meta} の非線形スクワッシュを含む。
• 損失は、メモリのセントロイドに対する大 margin 項を併用した交差エントロピーを組み合わせる：L = Σ L_CE(v^{meta}, y) + λ L_LM(v^{meta}, {c_i})。

実験結果

リサーチクエスチョン

• RQ1 頭部・テイル・オープンクラスを1つの統合フレームワークで認識するにはどうするか。
• RQ2 頭部とテイル間で視覚知識を共有することは、頭部精度を損なうことなくテイルのロバスト性を向上させるか。
• RQ3 学習した特徴空間内でオープンセットの新規性を検出・較正できるか（分類器出力だけでなく）？
• RQ4 提案された要素（ダイナミックメタ埋め込み、メモリ、到達可能性の較正、モジュレート注意）は、大規模な実世界の長尾データ（画像、風景、顔）をまたいで一般化するか。

主な発見

• OLTR はダイナミックメタ埋込みを用いることで、大規模なオープン長尾ベンチマーク（ImageNet-LT、Places-LT、MS1M-LT）で最先端ベースラインより一貫して改善される。
• メモリ特徴と概念セレクタは、とくに中程度ショットおよび少数ショットの領域でテイルクラスの性能を大幅に向上させる。
• 到達性ベースの較正はオープンセット識別を強化し、特に少数ショット・ワンショットの識別子に対して効果的であり、多数ショットの性能を維持する。
• モジュレート注意は、クラス間で異なる空間的文脈を利用するようモデルを誘導することで、頭部とテイルの識別性を向上させる。
• MegaFace および SUN-LT の実験は、顔・風景データセットへの強い一般化を示し、低ショットおよびゼロショット識別子で顕著なゲインを達成。