[論文レビュー] Balanced Product of Calibrated Experts for Long-Tailed Recognition

Emanuel Sanchez Aimar, Arvi Jonnarth+2 more|arXiv (Cornell University)|Jun 10, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、長尾認識における理論的裏付けに基づいたアンサンブル手法である、校正済みエキスパートのバランス型積（BalPoE）を提案する。この手法は、ロジット調整を通じて多様で校正済みのエキスパートを組み合わせることで、バランス誤差におけるフィッシャー整合性を保証する。ミックスアップを用いてエキスパートを校正し、ターゲット分布全体にわたるバイアス制約を課すことで、CIFAR-100-LT、ImageNet-LT、iNaturalist-2018で最先端の性能を達成し、7人のエキスパートを用いてトップ1の正確度が57%に達する。

ABSTRACT

Many real-world recognition problems are characterized by long-tailed label distributions. These distributions make representation learning highly challenging due to limited generalization over the tail classes. If the test distribution differs from the training distribution, e.g. uniform versus long-tailed, the problem of the distribution shift needs to be addressed. A recent line of work proposes learning multiple diverse experts to tackle this issue. Ensemble diversity is encouraged by various techniques, e.g. by specializing different experts in the head and the tail classes. In this work, we take an analytical approach and extend the notion of logit adjustment to ensembles to form a Balanced Product of Experts (BalPoE). BalPoE combines a family of experts with different test-time target distributions, generalizing several previous approaches. We show how to properly define these distributions and combine the experts in order to achieve unbiased predictions, by proving that the ensemble is Fisher-consistent for minimizing the balanced error. Our theoretical analysis shows that our balanced ensemble requires calibrated experts, which we achieve in practice using mixup. We conduct extensive experiments and our method obtains new state-of-the-art results on three long-tailed datasets: CIFAR-100-LT, ImageNet-LT, and iNaturalist-2018. Our code is available at https://github.com/emasa/BalPoE-CalibratedLT.

研究の動機と目的

• 実世界の認識において、ヘッドクラスが支配的でテイルクラスが表現不足・一般化性能に欠けるという、長尾クラス分布の課題に対処すること。
• データリサンプリング、損失再重み付け、単一エキスパートのバイアス補正といった従来手法の限界——しばしばモデルの校正性や偏りのない予測を保証できない——を克服すること。
• バランス誤差最小化下でも偏りのない予測を保証する理論的に整合性のあるアンサンブルフレームワークを開発すること、特に分布シフト下でも有効であること。
• エキスパート固有のバイアスに制約を課すことで、エキスパートアンサンブルのフィッシャー整合性を保証すること。また、モデルの校正の必要性を検証すること。
• ミックスアップが、提案手法の理論的保証の前提条件であるエキスパートの校正を達成するために不可欠であることを示すこと。

提案手法

• 異なるターゲットラベル分布を持つ複数のエキスパートを組み合わせるバランス型エキスパート積（BalPoE）を定義することで、単一モデルからのロジット調整をアンサンブルに拡張する。
• すべてのクラスにわたるバランス誤差の最小化におけるフィッシャー整合性を保証するため、エキスパート固有のバイアスに理論的制約を導入する。
• 理論的条件を満たすために必要なバイアス制約を満たすために、トレーニング段階でミックスアップ正則化を用いてエキスパートを校正する。校正されていないモデルでは、偏りのないアンサンブル予測を実現するための理論的条件を満たさない。
• 各エキスパートのターゲット分布を、前方、一様、後方バイアスの重み付き組み合わせとして定義し、平均バイアスをゼロに設定することでバランスを維持する。
• 各エキスパートを、ヘッドクラス、テイルクラス、一様クラスのレジームに特化した、固有の損失関数で訓練することで、専門性を高める。
• テスト段階では、校正済みのロジットに基づく重み付き平均を用いてエキスパートの予測を統合し、アンサンブル出力を偏りのないものに保ち、バランス誤差の目的関数と整合させる。

実験結果

リサーチクエスチョン

• RQ1 多様なエキスパートの積が、長尾認識においてバランス誤差を理論的に保証して最小化可能か。その保証に必要な条件は何か。
• RQ2 モデルの校正が、不均衡分類設定におけるアンサンブルモデルの性能と公平性に与える影響は何か。
• RQ3 ミックスアップが、BalPoEにおけるフィッシャー整合性を実現するための必要なエキスパート校正を達成するために果たす役割は何か。
• RQ4 提案されたフレームワークは、知識蒸留やテスト時適応に依存する複雑なマルチエキスパート手法よりも、単一エキスパートアプローチを超えて一般化可能で、それらを上回る性能を発揮できるか。
• RQ5 エキスパート全体に特定のバイアス制約を課すことで、特に少数ショットクラスにおいて、標準的な長尾ベンチマークで全ショットレジームで性能が向上するか。

主な発見

• BalPoEは、CIFAR-100-LT-100で57%という新しいトップ1正確度を達成し、単一エキスパートベースライン比で11%の相対的改善を示した。
• 少数ショットおよび中数ショットクラスの性能が顕著に向上し、表現が不足しがちなカテゴリへの一般化能力が強いことが示された。
• 7人のエキスパートを用いることでピーク性能が達成され、偶数個のエキスパートアンサンブルでも滑らかな精度の変化を示しており、エキスパート数の変動に強く、ロバストであることがわかった。
• ミックスアップはエキスパートの校正に不可欠である。アブレーションスタディでは、ミックスアップなしでは信頼性プロットが著しく劣悪となり、アンサンブルがフィッシャー整合性を失うことが示された。
• 知識蒸留やテスト時学習を用いる複雑なベースライン（SADE、NCL、BCL、PaCo）を、それらのメカニズムを必要とせず、上回った。
• 理論的分析により、エキスパートバイアス制約が満たされ、エキスパートが適切に校正されている場合、BalPoEがバランス誤差に対してフィッシャー整合的であることが確認された。