[論文レビュー] Long-Tailed Recognition via Weight Balancing

Shaden Alshammari, Yu-Xiong Wang+2 more|arXiv (Cornell University)|Mar 27, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、重み減衰とMaxNorm正則化を用いて分類器重みをバランスさせるシンプルだが効果的な2段階訓練手法を提案し、複雑なアーキテクチャやデータオーグメンテーションを用いずに、CIFAR100-LT（不均衡要因100）でSOTAの53.35%の精度を達成した。

ABSTRACT

In the real open world, data tends to follow long-tailed class distributions, motivating the well-studied long-tailed recognition (LTR) problem. Naive training produces models that are biased toward common classes in terms of higher accuracy. The key to addressing LTR is to balance various aspects including data distribution, training losses, and gradients in learning. We explore an orthogonal direction, weight balancing, motivated by the empirical observation that the naively trained classifier has "artificially" larger weights in norm for common classes (because there exists abundant data to train them, unlike the rare classes). We investigate three techniques to balance weights, L2-normalization, weight decay, and MaxNorm. We first point out that L2-normalization "perfectly" balances per-class weights to be unit norm, but such a hard constraint might prevent classes from learning better classifiers. In contrast, weight decay penalizes larger weights more heavily and so learns small balanced weights; the MaxNorm constraint encourages growing small weights within a norm ball but caps all the weights by the radius. Our extensive study shows that both help learn balanced weights and greatly improve the LTR accuracy. Surprisingly, weight decay, although underexplored in LTR, significantly improves over prior work. Therefore, we adopt a two-stage training paradigm and propose a simple approach to LTR: (1) learning features using the cross-entropy loss by tuning weight decay, and (2) learning classifiers using class-balanced loss by tuning weight decay and MaxNorm. Our approach achieves the state-of-the-art accuracy on five standard benchmarks, serving as a future baseline for long-tailed recognition.

研究の動機と目的

• 長尾データ分布におけるディープラーニングモデルの共通クラスへのバイアスを是正すること。
• 性能差の根本的原因を特定する：豊富な訓練データにより共通クラスの分類器重みノルムが不自然に大きくなること。
• 各クラスの重みノルムをバランスさせるための直交正則化技術を調査し、レアクラスの性能向上を図ること。
• 特徴学習と分類器学習を分離するシンプルで効果的な2段階訓練パラダイムを構築し、一般化性能を向上させること。

提案手法

• すべてのクラス分類器重みにL2正規化を適用して単位ノルムを強制するが、最適性能を得るにはあまりに制限的であると判明した。
• 重み減衰を用いて大きな重みに対してより強くペナルティを与えることで、すべてのクラスにわたるより小さい、よりバランスの取れた重みノルムを促進する。
• MaxNorm制約を導入し、重みノルムを固定半径内に制限することで、小さな重みが成長できる一方で過剰最適化を防ぐ。
• 2段階訓練戦略を採用：まずクロスエントロピー損失と調整された重み減衰を用いて特徴を学習し、次にクラスバランス損失と重み減衰・MaxNormを併用して分類器をファインチューニングする。
• 2次元のプレログイット層を用いて訓練中の重みの変化を可視化し、ノルムバランスのダイナミクスを示した。
• 各正則化技術および訓練段階の影響を評価するため、CIFAR100-LT上で広範なアブレーションスタディを実施した。

Figure 3 : Weight decay helps learn balanced weights at hidden layers . We compare the norm distribution at each layer (which has 512 filters) from the naive model ( orange ) and the one trained with weight decay ( blue ). For each layer of a model, we sort the filter weights of each layer from high

実験結果

リサーチクエスチョン

• RQ1 なぜ素朴に訓練されたモデルは長尾データセットのレアクラスで性能が著しく低下するのか？
• RQ2 既存のデータオーグメンテーションや損失再重み付け手法と比較して、重みノルムバランス化はどの程度長尾認識精度を向上させ得るのか？
• RQ3 L2正規化、重み減衰、MaxNormといった異なる正則化技術は、分類器重みのバランスと大きさにどのように影響を与えるのか？
• RQ4 重みバランス化を活用するための最適な訓練戦略（例：2段階ファインチューニング）は何か？
• RQ5 複雑なSOTA手法と比較して、単純でよく知られた正則化手法が、アーキテクチャ的・データオーグメンテーションの変更なしに長尾認識で優れた性能を発揮できるか？

主な発見

• 重み減衰のみを用いることで、CIFAR100-LT（IF=100）における精度が、素朴な訓練の38.38%から46.08%に向上し、相対的向上率+8%を達成した。
• クラスバランス損失と重み減衰を併用して最後の層をファインチューニングすることで、精度が52.42%に上昇し、損失と正則化の組み合わせの有効性が示された。
• 最良の設定（CB + WD）にMaxNormを追加することで、さらに1%の向上が得られ、CIFAR100-LTにおけるトップ1精度は53.35%に達した。
• 最後の2層をCB、WD、MaxNormでファインチューニングすることで、53.55%の精度が得られ、最後の1層のみのファインチューニングよりもわずかに優れた性能を示した。
• より多くの層をファインチューニングしすぎると性能が低下し、おそらくクラスバランス損失が特徴学習段階で勾配の衝突を引き起こすためだと考えられる。
• 可視化により、重み減衰とMaxNormが、特に共通クラスの重みの優位性を低減させることで、クラス間でよりバランスの取れた重みノルムを実現していることが確認された。

Figure 4 : Tuning weight decay drastically improves long-tailed recognition performance. We do not use any class-balancing techniques but simply use CE loss and tune weight decay $\lambda$ to regularize all network weight. For example, tuning $\lambda$ yields $46.1\%$ accuracy on CIFAR100-LT (IF=100