[論文レビュー] Long-Tailed Partial Label Learning via Dynamic Rebalancing

Hong Feng, Jiangchao Yao+3 more|arXiv (Cornell University)|Feb 10, 2023

Text and Document Classification Technologies被引用数 8

ひとこと要約

RECORDS は、学習時のラベルの曖昧さの中でラベル判別に適応する、長尾部分ラベル学習のダイナミックリバランシング機構を導入し、事前のクラス分布を必要とせずに性能を向上させる。

ABSTRACT

Real-world data usually couples the label ambiguity and heavy imbalance, challenging the algorithmic robustness of partial label learning (PLL) and long-tailed learning (LT). The straightforward combination of LT and PLL, i.e., LT-PLL, suffers from a fundamental dilemma: LT methods build upon a given class distribution that is unavailable in PLL, and the performance of PLL is severely influenced in long-tailed context. We show that even with the auxiliary of an oracle class prior, the state-of-the-art methods underperform due to an adverse fact that the constant rebalancing in LT is harsh to the label disambiguation in PLL. To overcome this challenge, we thus propose a dynamic rebalancing method, termed as RECORDS, without assuming any prior knowledge about the class distribution. Based on a parametric decomposition of the biased output, our method constructs a dynamic adjustment that is benign to the label disambiguation process and theoretically converges to the oracle class prior. Extensive experiments on three benchmark datasets demonstrate the significant gain of RECORDS compared with a range of baselines. The code is publicly available.

研究の動機と目的

• ラベルの曖昧さとクラス不均衡の両方を持つ実用的なシナリオとして LT-PLL を動機づける。
• oracle priors を用いた場合でも LT-PLL における定常リバランシングの限界を特定する。
• ラベル判別を安定化させるダイナミックで事前情報フリーのリバランシング手法 RECORDS を提案する。
• 小さな曖昧さの下での収束と oracle priors との関係を理論的に分析する。
• 複数の LT-PLL ベンチマークとベースラインにおける経験的利得を示す。

提案手法

• 偏ったモデル出力と候補ラベル集合を用いて LT-PLL を定式化する。
• 出力をダイナミックなパラメトリッククラス分布でデバイズする RECORDS を導入する。
• 動量更新されたプロトタイプ特徴量 F によって動的クラス分布 P_train(y|Θ) を推定する（式 (Eq. 5)）。
• -log P_train(y|Θ) でロジットを調整して P_uni(y|x;Θ) を計算する（式 (Eq. 6)）。
• RECORDS を既存の PLL 手法にエンドツーエンドでプラグインできる軽量モジュールとして組み込む。
• 小さな曖昧さの下で dynamic Rebalancing が oracle prior に収束する理論的洞察を提供する（定理 4.1）。

実験結果

リサーチクエスチョン

• RQ1 真のクラス分布にアクセスできなくても dynamic rebalancing は LT-PLL を改善できるか？
• RQ2 トレーニング中のラベル判別と dynamic rebalancing はどのように相互作用するか？
• RQ3 現実的な曖昧さの下で RECORDS はトレーニングが進むにつれて oracle priors に収束するか？
• RQ4 標準的な LT-PLL ベンチマークと PLL ベースラインにおける RECORDS の経験的利得はどれくらいか？
• RQ5 RECORDS は既存のPLL 手法に直交的で容易にプラグイン可能か？

主な発見

• RECORDS は CIFAR-10-LT、CIFAR-100-LT、PASCAL VOC の LT-PLL 設定において、CORR、PRODEN、LW、CAVL などの強力な PLL ベースラインを一貫して上回る。
• RECORDS は最良ベースラインに対して実質的なゲインをもたらし、PASCAL VOC で最大 32.03% の相対改善、CIFAR-10-LT/CIFAR-100-LT で顕著なゲインを示す。
• 動的リバランシングは訓練中に oracle クラス priors に収束し、最終推定は priors に近い（L2 距離の低下）。
• 本手法は軽量でエンドツーエンド、既存の PLL 損失に対して直交的で、非均一な候補生成にもロバスト。
• 線形プロービング実験では RECORDS が baselines よりも優れた表現を生み出す。
• RECORDS は他の動的戦略を上回り、ヘッドクラスへの過剰調整を避けつつ尾部クラスの性能を改善したまま維持する。