[論文レビュー] Feature Space Augmentation for Long-Tailed Data

Peng Chu, Xiao Bian+2 more|arXiv (Cornell University)|Aug 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 13

ひとこと要約

本稿では、深層特徴空間において、代表度の高い（ヘッド）クラスからの汎用的特徴と、代表度が低い（テイル）クラスからのクラス固有の特徴を融合することで、長尾データのための合成サンプルを生成する、特徴空間拡張（FSA）を提案する。高レベルのネットワーク層でクラスアクティビティマップ（CAM）を用いて特徴を分離・再結合することで、FSAはテイルクラスにおけるモデルの一般化性能を向上させ、CIFAR-LT、ImageNet-LT、Places-LT、およびiNaturalistデータセットで最先端の性能を達成した。

ABSTRACT

Real-world data often follow a long-tailed distribution as the frequency of each class is typically different. For example, a dataset can have a large number of under-represented classes and a few classes with more than sufficient data. However, a model to represent the dataset is usually expected to have reasonably homogeneous performances across classes. Introducing class-balanced loss and advanced methods on data re-sampling and augmentation are among the best practices to alleviate the data imbalance problem. However, the other part of the problem about the under-represented classes will have to rely on additional knowledge to recover the missing information. In this work, we present a novel approach to address the long-tailed problem by augmenting the under-represented classes in the feature space with the features learned from the classes with ample samples. In particular, we decompose the features of each class into a class-generic component and a class-specific component using class activation maps. Novel samples of under-represented classes are then generated on the fly during training stages by fusing the class-specific features from the under-represented classes with the class-generic features from confusing classes. Our results on different datasets such as iNaturalist, ImageNet-LT, Places-LT and a long-tailed version of CIFAR have shown the state of the art performances.

研究の動機と目的

• テイルクラスに十分なトレーニングサンプルが存在しない長尾データセットにおいて、ディープラーニングモデルの性能低下を是正すること。
• テイルクラスが著しく不足している場合に、従来のデータ拡張法やクラスバランス損失関数の限界を克服すること。
• ヘッドクラスからの知識を特徴空間の操作によって活用することで、テイルクラスにおける欠落した分布情報の回復を図ること。
• トレーニング中に高レベル特徴空間で新規で現実的であるサンプルを生成するエンドツーエンドのトレーニングパイプラインの開発

提案手法

• クラスアクティビティマップ（CAM）を用いて、各クラスの深層特徴を汎用的成分と固有的成分に分解する。
• 各テイルクラスのサンプルについて、そのクラス固有の特徴と、誤分類されやすいヘッドクラスからの汎用的特徴を混合することで、高レベル特徴を拡張する。
• 最後の残差ブロック以降の高レベル特徴空間で特徴融合を実行することで、空間的構造を保持し、線形表現の利点を活かす。
• 2段階のトレーニング戦略を採用：バランスサンプリングによる事前学習と、オンラインで特徴空間拡張されたサンプルを用いたファインチューニング。
• 十分な汎用的特徴表現を保証するため、比閾値（hr ≥ 0.9）に基づいてヘッドクラスを動的に選択する。
• ResNetにおいて第4残差ブロックの後に拡張を適用することで、空間ノイズを最小限に抑え、高レベル特徴の線形性を最大限に活用する。

実験結果

リサーチクエスチョン

• RQ1 ヘッドクラスからの汎用的特徴が、代表度が低いテイルクラスにおける欠落した分布情報の回復に有効に機能するか？
• RQ2 深層特徴空間でテイルクラスの固有的特徴とヘッドクラスの汎用的特徴を融合することで、意味的で一般化可能なサンプルが生成されるか？
• RQ3 ヘッドクラス比（hr）の選択が、テイルクラスの一般化性能にどのように影響するか？
• RQ4 どのネットワーク深さで特徴空間拡張が長尾学習に対して最も効果的か？
• RQ5 この手法は、実世界の長尾データセットにおいて、従来の最先端手法（クラスバランス損失やフォーカル損失）を上回る性能を示せるか？

主な発見

• iNaturalist 2017では、ResNet-152を用いてトップ1正解率66.58%を達成し、クラスバランス損失を用いた従来の最先端手法（64.75%）を上回った。
• iNaturalist 2018では、ResNet-152を用いてトップ1正解率69.08%を達成し、前回の最先端手法（66.97%）を上回った。
• 最適なヘッドクラス比（hr）は、全データセットで約0.95であることが判明し、十分な汎用的特徴抽出と適切なテイルクラスカバレッジのバランスをとれた。
• 第4残差ブロックの後に特徴拡張を実行した場合に最高の性能が得られ、これは空間的ノイズを最小限に抑え、高レベル特徴の線形性を最大限に活かすためである。
• アブレーションスタディの結果、特徴空間拡張はテイルクラスの性能を顕著に向上させ、ベースラインおよび拡張なしの設定と比較して明確な性能向上が確認された。