[論文レビュー] Escaping Saddle Points for Effective Generalization on Class-Imbalanced Data

Harsh Rangwani, Sumukh K Aithal+2 more|arXiv (Cornell University)|Dec 28, 2022

Imbalanced Data Classification Techniques被引用数 9

ひとこと要約

この論文は、クラス不均衡データ上で訓練された深層ニューラルネットワークが、再重み付け技術を用いても、マイノリティクラスにおいて損失関数の鞍点に収束することを特定した。Sharpness-Aware Minimization (SAM) を適用することで、負の曲率方向への勾配を強化し、これらの鞍点を効果的に脱出できるようになった。これにより一般化性能が向上し、Vector Scaling Loss よりもマイノリティクラスで6.2%の精度向上を達成。全データセット平均でも4%の向上を達成した。

ABSTRACT

Real-world datasets exhibit imbalances of varying types and degrees. Several techniques based on re-weighting and margin adjustment of loss are often used to enhance the performance of neural networks, particularly on minority classes. In this work, we analyze the class-imbalanced learning problem by examining the loss landscape of neural networks trained with re-weighting and margin-based techniques. Specifically, we examine the spectral density of Hessian of class-wise loss, through which we observe that the network weights converge to a saddle point in the loss landscapes of minority classes. Following this observation, we also find that optimization methods designed to escape from saddle points can be effectively used to improve generalization on minority classes. We further theoretically and empirically demonstrate that Sharpness-Aware Minimization (SAM), a recent technique that encourages convergence to a flat minima, can be effectively used to escape saddle points for minority classes. Using SAM results in a 6.2\% increase in accuracy on the minority classes over the state-of-the-art Vector Scaling Loss, leading to an overall average increase of 4\% across imbalanced datasets. The code is available at: https://github.com/val-iisc/Saddle-LongTail.

研究の動機と目的

• 長尾データセットにおけるマイノリティクラスでの一般化性能が、再重み付け法やマージンベースの手法によっても十分に向上しない理由を調査すること。
• クラスごとのヘッセ行列固有値密度を用いて、不均衡データで訓練されたニューラルネットワークの損失関数の曲率を分析すること。
• マイノリティクラスでの一般化性能の劣化の主な要因として、損失関数の鞍点を特定すること。
• 鞍点を脱出することを目的とした最適化手法が、不均衡データ処理において性能向上をもたらすかどうかを評価すること。
• Sharpness-Aware Minimization (SAM) が鞍点を脱出でき、マイノリティクラスの一般化性能を向上させることの有効性を示すこと。

提案手法

• クラスごとのヘッセ行列分析を提案し、マイノリティクラス領域における損失関数の曲率を明らかにした。
• ヘッセ行列の固有値密度を用いて、マイノリティクラスの重み空間における鞍点（大きな負の曲率）を検出した。
• 重み空間の近傍での最適化を実行することで、平坦な極小値を促進し、鞍点からの脱出を強化する、Sharpness-Aware Minimization (SAM) を適用した。
• 再重み付け手法（Deferred Re-Weighting (DRW) や Vector Scaling (VS) Loss）と SAM を組み合わせ、不均衡データの学習を改善した。
• 2段階の訓練スケジュールを採用：最初に標準的な交差エントロピーで訓練し、その後、最適化の安定化を図るために遅延再重み付けを適用した。
• 再重み付け損失を用いた摂動された重みでの勾配計算を実行する、修正された SAM アップデート則を導入し、マイノリティクラス領域における鞍点へのロバスト性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 再重み付け法やマージンベースの手法は、クラス不均衡の緩和を意図しているにもかかわらず、なぜマイノリティクラスで依然として性能が低いのか？
• RQ2 不均衡データで訓練されたディープニューラルネットワークの最終解が、マイノリティクラスにおいて損失関数の鞍点に収束するのか、それとも極小値に収束するのか？
• RQ3 鞍点を脱出することを目的とした最適化手法は、長尾学習におけるマイノリティクラスの一般化性能を向上させることができるか？
• RQ4 SAM はマイノリティクラス領域における負の曲率方向への勾配成分を効果的に強化するのか？
• RQ5 既存の再重み付け手法と組み合わせることで、SAM は不均衡ベンチマークで最先端の性能を達成できるか？

主な発見

• クラスごとのヘッセ行列分析により、マイノリティクラスは高い負の曲率領域に収束していることが判明。これは鞍点を示している。一方、ヘッドクラスは極小値に収束している。
• 再重み付けを施しても、不均衡データで訓練されたモデルはマイノリティクラスにおいて依然として鞍点に収束しており、これが一般化性能の劣化の理由であると説明できる。
• SAM は負の曲率方向への勾配成分を顕著に強化し、マイノリティクラス領域における鞍点からの効果的脱出を可能にした。
• CIFAR-100 LT では、SAM と Vector Scaling Loss を組み合わせた手法が、最先端の VS-Loss ベースラインよりマイノリティクラスで6.2%の精度向上を達成した。
• ImageNet-LT および iNaturalist-18 では、SAM と再重み付け手法の組み合わせにより、全クラス平均で4%の精度向上が得られた。
• 本手法は複数のベンチマークおよび損失関数（LDAM、IB-Loss、PaCo など）に広く適用可能であり、一般化性能に優れていることが示された。