[論文レビュー] FASA: Feature Augmentation and Sampling Adaptation for Long-Tailed Instance Segmentation

Yuhang Zang, Chen Huang+1 more|arXiv (Cornell University)|Feb 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 6

ひとこと要約

FASA は、仮想特徴の適応的特徴増強と損失誘導型サンプリングを用いて、レアクラスのパフォーマンスを向上させる、長尾インスタンスセグメンテーションのプラグアンドプレイ手法である。LVIS v1.0 において、訓練時間の増加がたった 3% のみであるのにもかかわらず、レアクラスでマスク AP を 9.0% 向上させ、複雑な損失設計や転移学習に依存せずに最先端の手法を上回る。

ABSTRACT

Recent methods for long-tailed instance segmentation still struggle on rare object classes with few training data. We propose a simple yet effective method, Feature Augmentation and Sampling Adaptation (FASA), that addresses the data scarcity issue by augmenting the feature space especially for rare classes. Both the Feature Augmentation (FA) and feature sampling components are adaptive to the actual training status -- FA is informed by the feature mean and variance of observed real samples from past iterations, and we sample the generated virtual features in a loss-adapted manner to avoid over-fitting. FASA does not require any elaborate loss design, and removes the need for inter-class transfer learning that often involves large cost and manually-defined head/tail class groups. We show FASA is a fast, generic method that can be easily plugged into standard or long-tailed segmentation frameworks, with consistent performance gains and little added cost. FASA is also applicable to other tasks like long-tailed classification with state-of-the-art performance.

研究の動機と目的

• 長尾インスタンスセグメンテーションにおけるレアオブジェクトクラスにおけるディープラーニングモデルの性能低下を解消すること。
• 複雑な損失設計やクラス間転移学習に依存せずに、レアクラスのデータ不足を克服すること。
• 既存のセグメンテーションフレームワークに簡単に統合可能な汎用的で効率的な手法を開発すること。
• 異なるバックボーン、データサンプリング戦略、損失関数において一貫したパフォーマンス向上を実現すること。
• 他の長尾タスク、例えば画像分類などへの一般化を示すこと。

提案手法

• 過去の反復で得られた実特徴統計をもとにした分布的事前分布を用いて、クラスごとの仮想特徴をオンラインで生成することで、特徴増強を実行する。
• 観測された実サンプルからの特徴平均と分散を計算し、クラス固有の特徴分布を動的にモデル化する。
• 損失適応型サンプリングを適用：仮想特徴が検証損失を改善する場合にのみ、そのサンプリング確率を増加させ、そうでない場合は減少させて過学習を防ぐ。
• 実データやモデルアーキテクチャの変更を加えずに、仮想特徴のみで動作させるシンプルさを維持する。
• 再サンプリングや損失戦略に依存しない既存の手法とシームレスに統合可能なプラグアンドプレイ設計を採用する。
• モデルのパフォーマンスフィードバックに基づき、動的にサンプリング密度を調整することで、耐性と一般化性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 特徴増強のみで、長尾インスタンスセグメンテーションにおけるレアクラスのパフォーマンスを著しく向上させられるか？
• RQ2 訓練中に仮想特徴のサンプリングをどのように適応的に調整すれば、過学習を防ぎつつレアクラスパフォーマンスを向上させられるか？
• RQ3 複雑なタスク固有の損失設計に比べて、単純で汎用的な手法が長尾インスタンスセグメンテーションで優れた性能を発揮できるか？
• RQ4 提案手法はインスタンスセグメンテーションを越えて、他の長尾ビジョンタスクにも一般化可能か？
• RQ5 最先端の手法と比較して、このような手法の訓練効率コストはどの程度か？

主な発見

• FASA は、LVIS v1.0 において、マスク R-CNN のレアクラスでマスク AP を 9.0% 向上させ、全体でも 3.3% 向上させたが、訓練時間はわずかに 3% 増加した。
• COCO-LT では、FASA が 23.4% のマスク AP を達成し、前回の SOTA である SimCal よりも全体で 1.6%、レアクラスで 13.5% 高かった。
• LVIS v1.0 において、損失ベースの最近の手法（EQL）に対し、FASA はレアクラスで 10.3%、全体で 2.3% の向上を達成した。
• CIFAR-LT-100 では、De-confound-TDE を用いて FASA が 45.2% のトップ-1 精度を達成し、ベースラインより 1.1% 高く、M2M や Chu et al. の手法を上回った。
• FASA は、事前学習ステップを回避し、オンラインで動作するため、M2M や Chu et al. よりも時間効率に優れている。
• 本手法は一般化性能に優れており、異なるバックボーン、学習スケジュール、データサンプリング戦略において一貫した向上を示した。