[論文レビュー] Margin Calibration for Long-Tailed Visual Recognition

Yidong Wang, Bowen Zhang+4 more|arXiv (Cornell University)|Dec 14, 2021

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

本稿では、マージンをキャリブレーションすることで、ヘッドクラス（一般的）とテイルクラス（レア）のロジットをバランスさせる、シンプルで効果的な手法MARC（Margin Calibration）を提案する。2Kパラメータの学習可能でクラス固有のマージンキャリブレーション関数を導入することで、MARCはCIFAR-LT、ImageNet-LT、Places-LT、iNaturalist-LTにおいて最小限の計算オーバーヘッドとたった3行のコードでSOTA性能を達成する。

ABSTRACT

The long-tailed class distribution in visual recognition tasks poses great challenges for neural networks on how to handle the biased predictions between head and tail classes, i.e., the model tends to classify tail classes as head classes. While existing research focused on data resampling and loss function engineering, in this paper, we take a different perspective: the classification margins. We study the relationship between the margins and logits (classification scores) and empirically observe the biased margins and the biased logits are positively correlated. We propose MARC, a simple yet effective MARgin Calibration function to dynamically calibrate the biased margins for unbiased logits. We validate MARC through extensive experiments on common long-tailed benchmarks including CIFAR-LT, ImageNet-LT, Places-LT, and iNaturalist-LT. Experimental results demonstrate that our MARC achieves favorable results on these benchmarks. In addition, MARC is extremely easy to implement with just three lines of code. We hope this simple method will motivate people to rethink the biased margins and biased logits in long-tailed visual recognition.

研究の動機と目的

• 長尾視覚認識におけるヘッド（一般的）クラスとテイル（レア）クラスのモデル予測の不均衡を是正すること。
• 分類性能に重要なマージンとロジットのキャリブレーションされていない関係性を解明すること。
• モデル表現を変更せず、複雑なリウェイトリングスキームを必要としない、シンプルで効果的なマージンキャリブレーション手法を提案すること。
• マージンキャリブレーションによるロジットのバランスによって、ヘッドクラスとテイルクラスのパフォーマンスギャップを縮小すること。
• 長尾学習におけるキャリブレーションされていないマージンの役割を再考する動機を提示すること。

提案手法

• 標準トレーニング後に学習されたマージンを補正するため、2Kの学習可能なパラメータを持つクラス固有のマージンキャリブレーション関数を提案する。
• クラスの頻度に依存する学習可能な関数を用いて、各クラスごとのスケーリング係数を学習することでマージンをキャリブレーションする。
• 推論時にキャリブレーション関数をロジットに適用し、テイルクラスがヘッドクラスに対して相対的に高い信頼度スコアを得るようにする。
• 標準トレーニングの後にマージンキャリブレーションを実行する二段階のトレーニングプロセスを採用し、最小限のハイパーパramータチューニングで実現可能なシンプルな最適化スキームを採用する。
• 温度のようなスケーリングパラメータγを用い、実験的に最適なパフォーマンスを得るため、γ = 1.2として設定する。
• 本手法はプラグアンドプレイであり、実装にはたった3行のコードで十分であり、任意のバックボーンや損失関数と互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 長尾データセットにおけるクラス頻度とキャリブレーションされていないマージン・ロジットの相関関係はいかなるものか？
• RQ2 モデル表現を変更せず、損失関数のリウェイトリングを一切行わずに、マージンキャリブレーションのみで長尾視覚認識ベンチマークのパフォーマンスを向上させられるか？
• RQ3 データリサンプリングや損失関数のリウェイトリングに依存する既存手法と比較して、シンプルで学習可能なマージンキャリブレーション関数は優れているか？
• RQ4 MARCは、ヘッドクラスとテイルクラスの間でロジットとマージンのバランスにどのように影響を与えるか？
• RQ5 マージンキャリブレーションは、テイルクラスがヘッドクラスとして誤分類されるのを減らすことができるか？

主な発見

• CIFAR-LT、ImageNet-LT、Places-LT、iNaturalist-LTの全データセットで、MARCはテイルクラスのクラスワイズ精度を顕著に向上させるとともに、ヘッドクラスのパフォーマンスを維持する。
• キャリブレーション後、クラス間でロジットとマージンがよりバランスが取れるようになり、ヘッドクラスへのバイアスが軽減される。
• CIFAR-100-LT(200)では、γ = 0であってもトップ1精度が45.2%に達し、損失関数のリウェイトリングなしで有効性を示す。
• 最適なγ値は1.2であり、それ以上の値はヘッドクラスの重みを過剰に抑制することでパフォーマンスを劣化させる。
• MARCはDisAlignよりもマージンと勾配の安定性に優れ、クラス間で一貫したキャリブレーションが実現されている。
• 可視化により、MARCが誤分類行列の対角成分の乖離を軽減していることが確認され、テイルクラスの誤分類が減少していることが示された。