[論文レビュー] MetaSAug: Meta Semantic Augmentation for Long-Tailed Visual Recognition

Shuang Li, Kaixiong Gong+4 more|arXiv (Cornell University)|Mar 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 17

ひとこと要約

MetaSAugは、深層特徴空間におけるクラス別共分散行列を動的に学習することで、長尾分布に適した視覚認識のための意味的データ拡張を最適化するメタラーニングフレームワークを提案する。バランスの取れた小規模な検証セットの損失を最小化することで、マイノリティクラスに向けたより意味的で多様な拡張を生成し、CIFAR-LT、ImageNet-LT、iNaturalistベンチマーク全体で分類精度を顕著に向上させる。

ABSTRACT

Real-world training data usually exhibits long-tailed distribution, where several majority classes have a significantly larger number of samples than the remaining minority classes. This imbalance degrades the performance of typical supervised learning algorithms designed for balanced training sets. In this paper, we address this issue by augmenting minority classes with a recently proposed implicit semantic data augmentation (ISDA) algorithm, which produces diversified augmented samples by translating deep features along many semantically meaningful directions. Importantly, given that ISDA estimates the class-conditional statistics to obtain semantic directions, we find it ineffective to do this on minority classes due to the insufficient training data. To this end, we propose a novel approach to learn transformed semantic directions with meta-learning automatically. In specific, the augmentation strategy during training is dynamically optimized, aiming to minimize the loss on a small balanced validation set, which is approximated via a meta update step. Extensive empirical results on CIFAR-LT-10/100, ImageNet-LT, and iNaturalist 2017/2018 validate the effectiveness of our method.

研究の動機と目的

• マイノリティクラスが不足している長尾データ分布で学習されたディープラーニングモデルの性能低下を是正すること。
• ISDAのような既存の意味的拡張手法が、マイノリティクラスで失敗する理由（信頼できる共分散推定に必要なデータが不足）を克服すること。
• 深層特徴空間におけるデータ拡張のための効果的でクラス固有の意味的方向を自動的に学習するメタラーニングベースのアプローチを開発すること。
• バックボーンネットワークを変更せず、アーキテクチャの変更を要せず、マイノリティクラスの一般化と精度を向上させること。
• フォーカル損失やLDAMのような既存の長尾学習手法と互換性を持たせ、プラグイン拡張モジュールとして統合可能であることを保証すること。

提案手法

• クラス別共分散行列を意味的データ拡張の最適化に用いるメタラーニングを採用し、小規模なバランスの取れたセットでの検証損失を最小化する。
• 各訓練ステップで、現在の共分散行列を用いてデータ拡張を行い、その後検証損失を計算して、メタアップデートステップにより共分散行列を更新する。
• 意味的特徴を意味的に意味のある方向に平行移動させるimplicit semantic data augmentation (ISDA)技術を活用するが、スパースなマイノリティデータからの推定ではなく、メタ最適化により方向を学習する。
• 学習された共分散行列を訓練パイプラインに統合し、不足しているクラス向けに多様で意味的に整合性のある拡張サンプルを生成する。
• メタラーニングの目的関数を二段階最適化として定式化する：内側のループで拡張データを用いたモデル訓練を行い、外側のループで検証誤差を最小化するように共分散行列を更新する。
• フォーカル損失やLDAMのような既存の損失関数と互換性を保つために、MetaSAugをプラグイン拡張モジュールとして適用する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングを用いて、長尾視覚認識におけるクラス別意味的方向を効果的に学習できるか？
• RQ2 メタ最適化により共分散行列を学習することで、固定またはデータ推定の共分散行列よりもマイノリティクラスで優れた性能を達成できるか？
• RQ3 SOTA手法と比較して、MetaSAugは長尾ベンチマークにおける分類精度をどの程度向上させるか？
• RQ4 MetaSAugはフォーカル損失やLDAMのような既存の長尾学習技術とどのように相互作用し、それらを強化するか？
• RQ5 MetaSAugは異なるバックボーンネットワークや長尾データセットに対して、ロバストで効果的か？

主な発見

• iNaturalist 2018では、トップ1誤差率が31.25%に達し、以前の最良手法（Meta-class-weight）を1.20ポイント上回った。
• インバランス要因が200のCIFAR-LT-10では、トップ1誤差率が12.36%に低下し、ISDAやメタウェイトベースラインを顕著に上回った。
• ImageNet-LTでResNet-152を用いた場合、トップ1誤差率は49.97%に達し、LDAM-DRW（52.86%）やMCW（53.18%）を2.5ポイント以上上回った。
• アブレーションスタディでは、再重み付けとメタラーニングの両方のコンponentが不可欠であることが確認され、CIFAR-LT-10でいずれかを削除すると、性能が2%以上低下した。
• 可視化結果から、MetaSAugは「トラック」のような最もレアなクラスに対しても、意味的に整合性のある拡張サンプルを効果的に生成でき、クラスの同一性を保ちつつ外観を変更していることが示された。
• 混同行列の結果から、MetaSAugは類似したマイノリティクラス（例：トラックと自動車）間の誤分類を顕著に低減しており、特徴の区別能が向上していることが示された。