[論文レビュー] A Unified Perspective for Loss-Oriented Imbalanced Learning via Localization

Zitai Wang, Qianqian Xu+5 more|arXiv (Cornell University)|Oct 7, 2023

Imbalanced Data Classification TechniquesComputer Science被引用数 3

ひとこと要約

本稿では、新たなデータ依存性収縮技術と局所リプシッツ連続性を用いて、損失指向の不均衡学習における統一的一般化解析を提案し、再重み付けとロジット補正が少数クラスの一般化をどのように向上させるかを明らかにした。この手法により、一般化境界に再重み付けを整合させる原理的学習アルゴリズムが可能となり、延期再重み付けの段階で乗法的ロジット補正を除去することができ、ImageNet-LTおよびiNaturalistデータセットで最先端の性能を達成した。

ABSTRACT

Due to the inherent imbalance in real-world datasets, naïve Empirical Risk Minimization (ERM) tends to bias the learning process towards the majority classes, hindering generalization to minority classes. To rebalance the learning process, one straightforward yet effective approach is to modify the loss function via class-dependent terms, such as re-weighting and logit-adjustment. However, existing analysis of these loss-oriented methods remains coarse-grained and fragmented, failing to explain some empirical results. After reviewing prior work, we find that the properties used through their analysis are typically global, i.e., defined over the whole dataset. Hence, these properties fail to effectively capture how class-dependent terms influence the learning process. To bridge this gap, we turn to explore the localized versions of such properties i.e., defined within each class. Specifically, we employ localized calibration to provide consistency validation across a broader range of losses and localized Lipschitz continuity to provide a fine-grained generalization bound. In this way, we reach a unified perspective for improving and adjusting loss-oriented methods. Finally, a principled learning algorithm is developed based on these insights. Empirical results on both traditional ResNets and foundation models validate our theoretical analyses and demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 不均衡学習における損失修正手法の、散逸的で粗い理論的理解を是正すること。
• 細分化された一般化境界の下で、再重み付けとロジット補正の手法を統一的に分析すること。
• 従来の理論が捉えきれない実験的現象——例えば、延期再重み付け（DRW）の成功や、DRWと乗法的ロジット項の不適合性——を説明すること。
• 理論的知見に基づいた原理的学習アルゴリズムを開発し、少数クラスにおける一般化性能を向上させること。

提案手法

• クラス固有の損失行動を捉えるために、グローバルリプシッツ仮定に代わる局所リプシッツ連続性の拡張を導入する。
• クラスの不均衡に感受性のある細分化された一般化境界を導出するため、データ依存性収縮技術を提案する。
• 一般化境界をベクトルスケーリング（VS）損失に適用し、加法的（再重み付け）および乗法的（ロジット補正）項の異なる役割を明らかにする。
• 一般化境界に再重み付けを整合させる学習アルゴリズムを設計し、DRW段階で乗法的ロジット項を除去することで、不適合性を回避する。
• 頑健性と一般化性能の向上のため、SAM（シャープネス・アウェア・ミニマイゼーション）と統合する。

実験結果

リサーチクエスチョン

• RQ1 再重み付けとロジット補正のメカニズムは、不均衡学習における一般化にどのように寄与するか？
• RQ2 理論的ギャップが存在するにもかかわらず、なぜ延期再重み付け（DRW）は標準的な再重み付けを上回るのか？
• RQ3 なぜDRWと乗法的ロジット補正（例：VS損失内）の組み合わせは、実験的に劣悪な性能を示すのか？
• RQ4 再重み付けとロジット補正を、1つの一般化境界で統一的に説明できる理論的フレームワークは存在するか？

主な発見

• iNaturalistデータセットにおいて、本手法は64.7％のバランス精度を達成し、以前のSOTA手法（DisAlign：70.6％）を上回った。
• ImageNet-LTでは、54.1％のバランス精度を達成し、最良のベースライン（DRO-LT：53.5％）を上回った。
• TLA（トレーニング損失整合）スキームにより、VS+TLA+ADRWはVSおよびVS+DRWを上回り、特に高不均衡状態（ρ=100）で顕著な性能向上を示した。
• 実験結果から、ρ=10のとき、CE+ADRWがLDAM+ADRWを上回るという直感に反する成功を説明でき、これは再重み付けそのものが一般化境界のバランスを回復させることで十分であると示した。
• 実験的結果は、DRW段階で乗法的ロジット項を除去することで性能が向上することを確認しており、不適合性に関する理論的知見を裏付けた。