[論文レビュー] SoLar: Sinkhorn Label Refinery for Imbalanced Partial-Label Learning

Haobo Wang, Mingxuan Xia+5 more|arXiv (Cornell University)|Sep 21, 2022

Text and Document Classification Technologies被引用数 14

ひとこと要約

SoLarは、Sinkhorn-Knopp最適化と反復的クラス事前分布推定を用いて、真のクラス事前分布に一致するように偽ラベルを精錬する、新しい最適輸送ベースのフレームワークを提案する。このフレームワークは、長尾分布の部分ラベル学習に対して最先端の性能を達成し、長尾CIFAR10ではターゲットクラスの正確性を15.12%向上させ、ロジット調整を適用した場合6.72%向上を達成した。

ABSTRACT

Partial-label learning (PLL) is a peculiar weakly-supervised learning task where the training samples are generally associated with a set of candidate labels instead of single ground truth. While a variety of label disambiguation methods have been proposed in this domain, they normally assume a class-balanced scenario that may not hold in many real-world applications. Empirically, we observe degenerated performance of the prior methods when facing the combinatorial challenge from the long-tailed distribution and partial-labeling. In this work, we first identify the major reasons that the prior work failed. We subsequently propose SoLar, a novel Optimal Transport-based framework that allows to refine the disambiguated labels towards matching the marginal class prior distribution. SoLar additionally incorporates a new and systematic mechanism for estimating the long-tailed class prior distribution under the PLL setup. Through extensive experiments, SoLar exhibits substantially superior results on standardized benchmarks compared to the previous state-of-the-art PLL methods. Code and data are available at: https://github.com/hbzju/SoLar .

研究の動機と目的

• 長尾で不均衡なデータ設定における、既存の部分ラベル学習（PLL）手法の性能低下を解消すること。
• 不均衡なPLLにおいて、ヘッドクラスに偏った偽ラベル化が主な失敗要因であることを特定すること。
• 偽ラベルの分布が真の周辺クラス事前分布に一致するように制約を課す、ラベルの曖昧さ解消フレームワークの開発。
• 真のラベルカウントが不明な部分ラベル設定において、長尾クラス事前分布を推定する非自明な問題に取り組むこと。
• 既知のクラス事前分布を必要とせず、マイノリティクラスの一般化性能を向上させる自己教師付きでエンドツーエンドで学習可能なシステムの設計。

提案手法

• 候補ラベル集合内の質量を保存するとともに、予測された偽ラベル分布を推定されたクラス事前分布に一致させる制約付き最適輸送問題としてラベルの曖昧さ解消を定式化する。
• 計算コストを低く抑えるために、効率的な最適輸送問題の解法としてSinkhorn-Knoppアルゴリズムを用いる。
• モデル予測の移動平均を用いた反復的クラス事前分布推定メカニズムを導入し、精度を向上させるためのサンプル選択戦略を統合する。
• 標準的なPLLパイプラインにラベル精錬モジュールを統合し、PRODEN や PiCO などの既存手法との互換性を確保する。
• さらに性能を向上させるために、後処理としてロジット調整を適用し、長尾学習手法との互換性を実証する。
• 精錬された偽ラベル上で交差エントロピー損失を用いてエンドツーエンドでモデルを学習させ、全体の目的関数の統計的整合性を保証する。

実験結果

リサーチクエスチョン

• RQ1 なぜ最先端の部分ラベル学習手法が長尾データセットで失敗するのか？
• RQ2 最適輸送を用いて、部分ラベル学習における偽ラベルの分布を真のクラス事前分布に一致させることで精錬することは可能か？
• RQ3 真のクラス事前分布は、真のラベルが不明な部分ラベル設定でどのように推定できるか？
• RQ4 クラス分布の事前知識がなくても、ラベル精錬フレームワークがマイノリティ（テイル）クラスの性能を向上させられるか？
• RQ5 SoLarを既存の長尾学習手法（例：ロジット調整）と組み合わせることで、さらなる性能向上が達成できるか？

主な発見

• SoLarは、部分ラベルを用いた長尾CIFAR10データセットにおいて、最良のベースライン比でターゲットクラスの正確性を15.12%向上させた。
• SUN397データセットでは、SoLarがすべてのベースラインを大きく上回り、現実世界の不均衡で部分ラベルが付与されたデータに対して有効性を示した。
• 図1(b)に示すように、SoLarが得たクラス事前分布の推定値は、真の事前分布に非常に近いことが確認され、推定メカニズムの頑健性が裏付けられた。
• SoLarは、長尾CIFAR10でロジット調整と組み合わせた場合、6.72%の正確性向上を達成し、既存の長尾学習手法との互換性を実証した。
• この手法は統計的に整合的であり、提案された目的関数のもとで、母集団レベルでの最適な分類器性能を保証する。
• 実証的分析により、PRODENなどの従来のPLL手法がヘッドクラスに著しくバイアスを受けるのに対し、SoLarは制約付きラベル精錬によってこれを効果的に是正していることが確認された。