[論文レビュー] Distributionally Robust Losses for Latent Covariate Mixtures

John C. Duchi, Tatsunori Hashimoto+1 more|arXiv (Cornell University)|Jul 28, 2020

Topic Modeling被引用数 6

ひとこと要約

本稿では、サブポピュレーションの識別が不明な場合でも、異質なデータセット内の潜在的サブポピュレーション全体の最悪ケース期待損失を最小化する、分布的に頑健な最適化フレームワークを提案する。最小割合の閾値によって定義される妥当な少数サブポピュレーションの集合上で凸最適化問題を定式化することで、有限標本収束保証のもとで、十分に大きなすべてのサブポピュレーションにおいて一様な性能を確保する。

ABSTRACT

While modern large-scale datasets often consist of heterogeneous subpopulations -- for example, multiple demographic groups or multiple text corpora -- the standard practice of minimizing average loss fails to guarantee uniformly low losses across all subpopulations. We propose a convex procedure that controls the worst-case performance over all subpopulations of a given size. Our procedure comes with finite-sample (nonparametric) convergence guarantees on the worst-off subpopulation. Empirically, we observe on lexical similarity, wine quality, and recidivism prediction tasks that our worst-case procedure learns models that do well against unseen subpopulations.

研究の動機と目的

• 標準の平均損失最小化が容易な例に偏るため、異質なデータセットにおける少数または困難なサブポピュレーションでの性能の悪さを是正すること。
• サブポピュレーションの識別が明示的に必要とされない状況でも、所定の最小サイズ以上のすべてのサブポピュレーションにおいて一様に低い損失を達成する手法を開発すること。
• 潜在的共変量シフト下での最悪ケースサブポピュレーション性能について、有限標本かつ非パラメトリックな収束保証を提供すること。
• プライバシーまたは規制上の制約により、性的・文化的属性情報が入手できない状況でも頑健性を確保できること。
• 分布的シフトが共変量の部分集合に限定される状況（例：視覚タスクにおける地理的場所）に一般化できること。

提案手法

• 最小割合 α₀ 以上のすべてのサブポピュレーションにおける最悪ケース期待損失を最小化する分布的に頑健な最適化（DRO）問題を定式化する。
• 妥当なサブポピュレーションの可能性集合を、最小割合 α₀ を持つ混合モデルにおける少数成分として形成可能なものを定義する。
• DRO問題の双対形を用い、X が与えられた下での条件付き損失のリスク・バリュー（CVaR）と関連付ける。
• 有限標本制御を確保するため、重み関数にリプシッツ連続性および有界性の制約を組み込む。
• 重み関数の制約に対する双対変数を含む双対最適化問題を導出し、計算が容易な形に変換する。
• ラデマッハ複雑度および被覆数の議論を用いた原双対解析により、最悪ケースリスクの有限標本バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 サブポピュレーションの識別が不明な状況でも、所定の最小サイズ以上のすべてのサブポピュレーションにおいて一様に低い損失を達成する凸最適化手順を設計可能か？
• RQ2 性的・文化的属性にアクセスできない状況でも、潜在的共変量シフトに対して分布的に頑健な性能を達成する方法は何か？
• RQ3 混合モデル設定下で、最悪ケースサブポピュレーション性能の有限標本収束保証はどのように提供できるか？
• RQ4 未知のサブポピュレーションに対する耐性という観点から、本手法は標準の平均損失最小化と比べてどのように優れているか？
• RQ5 地理的場所などの一部の共変量にのみシフトが生じる状況に対しても、本フレームワークを適応可能か？

主な発見

• 提案手法は、最悪ケースサブポピュレーションリスクについて有限標本収束保証を達成し、十分に大きなすべてのサブポピュレーションにおいて一様な性能を保証する。
• 語彙的類似性、ワインの品質、再犯予測の実験結果から、未知のサブポピュレーションへの一般化性能が優れていることが示された。
• DRO問題の双対形式はCVaR型の目的関数に対応し、本手法が確立された頑健最適化の原則と関連していることを示している。
• 感受性属性が入手不能な状況でも本手法は有効であるため、プライバシー制約のある応用に適している。
• 理論的解析により、最悪ケースリスクのバウンドが被覆数および関数クラスの複雑さに比例することを示し、漸近的でない制御が可能であることが分かった。
• 交絡要因や共変量シフトに対して頑健である。これは、Xの周辺分布に潜在的な混合成分を明示的に取り入れているためである。