[論文レビュー] On Multi-Domain Long-Tailed Recognition, Imbalanced Domain Generalization and Beyond

Yuzhe Yang, Hao Wang+1 more|arXiv (Cornell University)|Mar 17, 2022

Artificial Intelligence in Healthcare被引用数 4

ひとこと要約

本稿では、異なるクラス分布とドメインシフトを示す複数のドメインにおけるラベルの不均衡に着目した、マルチドメイン長尾認識（MDLT）という新しいタスクを紹介する。本研究では、特徴のドメイン間整合性とクラス不均衡を同時に考慮する理論的裏付けを持つ損失関数BoDAを提案し、トランスファービリティ統計の上限を最適化することで、MDLTおよびドメイン一般化ベンチマークで最先端の性能を達成した。

ABSTRACT

Real-world data often exhibit imbalanced label distributions. Existing studies on data imbalance focus on single-domain settings, i.e., samples are from the same data distribution. However, natural data can originate from distinct domains, where a minority class in one domain could have abundant instances from other domains. We formalize the task of Multi-Domain Long-Tailed Recognition (MDLT), which learns from multi-domain imbalanced data, addresses label imbalance, domain shift, and divergent label distributions across domains, and generalizes to all domain-class pairs. We first develop the domain-class transferability graph, and show that such transferability governs the success of learning in MDLT. We then propose BoDA, a theoretically grounded learning strategy that tracks the upper bound of transferability statistics, and ensures balanced alignment and calibration across imbalanced domain-class distributions. We curate five MDLT benchmarks based on widely-used multi-domain datasets, and compare BoDA to twenty algorithms that span different learning strategies. Extensive and rigorous experiments verify the superior performance of BoDA. Further, as a byproduct, BoDA establishes new state-of-the-art on Domain Generalization benchmarks, highlighting the importance of addressing data imbalance across domains, which can be crucial for improving generalization to unseen domains. Code and data are available at: https://github.com/YyzHarry/multi-domain-imbalance.

研究の動機と目的

• ラベル分布が異なる不均衡なドメイン間での一般化を可能にする、マルチドメイン長尾認識（MDLT）を新たな学習パラダイムとして形式化すること。
• 複数のドメインから成る現実世界のシナリオにおいて、単一ドメインの長尾学習手法の限界を解決すること。
• データの不均衡下でも、ドメイン・クラスペア間のトランスファービリティをモデル化する統一フレームワーク「ドメイン・クラストランスファービリティグラフ」を構築すること。
• 不均衡なドメイン・クラス分布にわたって、バランスの取れたアライメントとキャリブレーションを保証する損失関数BoDAを設計すること。
• 5つのキュレートされたMDLTベンチマークでBoDAを評価し、20の既存手法、特にドメイン一般化分野における最先端手法を上回ることを実証すること。

提案手法

• ノードがドメイン・クラスペアを表し、エッジが埋め込み空間上の距離を表すドメイン・クラストランスファービリティグラフを提案し、不均衡下でのドメイン間およびクラス間のトランスファービリティをモデル化する。
• 同じクラスの特徴を異なるドメイン間で類似させるとともに、異なるクラス間の類似性をペナルティ化する、BoDA（Balanced Domain-Class Distribution Alignment）と呼ばれる損失関数を導入する。
• BoDAは、バランスの取れたトランスファービリティ統計の上限を最適化することで、サンプル数の偏りがある状況でも安定した学習を可能にする。
• 対照的損失スタイルのアプローチを採用し、クラス間およびドメイン間の特徴類似性をペナルティ化するとともに、クラス内アライメントを促進する。正則化はクラス頻度に応じて調整される。
• 理論的分析により、BoDAの最小化がトランスファービリティ統計の上限を最適化することを証明し、MDLTにおける有効性を裏付ける。
• 標準的なドメイン一般化データセットから作成された5つのMDLTベンチマークで、BoDAを実験的に評価し、ドメイン間のラベル不均衡を制御した環境下で検証した。

実験結果

リサーチクエスチョン

• RQ1 複数のドメインにまたがるデータの不均衡は、特にラベル分布がドメインごとに異なる場合、モデルの一般化性能にどのように影響を与えるか？
• RQ2 統一された表現学習フレームワークは、ドメイン内でのラベル不均衡とドメイン間の分布シフトの両方を効果的に処理できるか？
• RQ3 マルチドメイン設定における長尾学習の成功は、ドメイン・クラスペア間のトランスファービリティにどの程度依存しているか？
• RQ4 不均衡なドメイン・クラス分布にわたって、アライメントとキャリブレーションをバランスさせるような損失関数を設計可能か？ また、未観測ドメインへの一般化性能を維持できるか？
• RQ5 ドメイン間でのデータ不均衡に対処することで、長尾タスクでない場合でもドメイン一般化性能が向上するか？

主な発見

• BoDAは、5つのMDLTベンチマークで20のベースラインすべてを上回る一貫した顕著な性能向上を達成し、極端なラベル不均衡下で平均で最大6.4%の向上を示した。
• Digits-MLTデータセットでは、BoDAはすべてのラベル設定で一貫したトランスファービリティを維持したが、ERMは分布が異なる不均衡な状況下で失敗し、平均6.4%の向上を示した。
• ドメイン・クラストランスファービリティグラフから導出されたトランスファービリティ統計（α, β, γ）は、すべてのMDLTデータセットでテスト精度と強く相関（R² > 0.9）しており、性能予測子としての有効性が裏付けられた。
• BoDAは、特にテールクラスにおいて、訓練データとテストデータの特徴差を、ERMと比較して最大40%まで低減し、より良いドメイン一般化を実現した。
• 最先端のドメイン一般化手法と組み合わせた場合、BoDAはDGベンチマークで新たなSOTAを樹立した。これは、不均衡に配慮した設計が分布外一般化性能を向上させることを示している。
• 可視化により、BoDAは、特に高いドメインシフトと不均衡下でも、マイノリティクラス（特徴空間上の赤色領域）に対してより一貫性があり、頑健な表現を学習していることが確認された。