[論文レビュー] Change is Hard: A Closer Look at Subpopulation Shift

Yuzhe Yang, Haoran Zhang+2 more|arXiv (Cornell University)|Feb 23, 2023

Explainable Artificial Intelligence (XAI)被引用数 11

ひとこと要約

この論文は、サブポピュレーションシフトの統一フレームワークを導入し、12の実世界データセットに渡って20のSOTAアルゴリズムをベンチマークし、改善は特定のシフトタイプに限られ、最悪クラスの精度のみがグループ注釈なしでもモデル選択を導くことになり得ることを示しています。

ABSTRACT

Machine learning models often perform poorly on subgroups that are underrepresented in the training data. Yet, little is understood on the variation in mechanisms that cause subpopulation shifts, and how algorithms generalize across such diverse shifts at scale. In this work, we provide a fine-grained analysis of subpopulation shift. We first propose a unified framework that dissects and explains common shifts in subgroups. We then establish a comprehensive benchmark of 20 state-of-the-art algorithms evaluated on 12 real-world datasets in vision, language, and healthcare domains. With results obtained from training over 10,000 models, we reveal intriguing observations for future progress in this space. First, existing algorithms only improve subgroup robustness over certain types of shifts but not others. Moreover, while current algorithms rely on group-annotated validation data for model selection, we find that a simple selection criterion based on worst-class accuracy is surprisingly effective even without any group information. Finally, unlike existing works that solely aim to improve worst-group accuracy (WGA), we demonstrate the fundamental tradeoff between WGA and other important metrics, highlighting the need to carefully choose testing metrics. Code and data are available at: https://github.com/YyzHarry/SubpopBench.

研究の動機と目的

• サブポピュレーションシフトを属性成分とクラス成分の両方にわたって統一的で細粒なフレームワークとして形式的に定義する。
• 視覚、言語、医療を含む12の多様な実世界データセットと20の最先端手法を用いた現実的なベンチマークを作成する。
• 実務的にどのように異なるサブポピュレーションシフトタイプが現れ、アルゴリズムがそれらの下でどのように性能を発揮するかを特徴づける。
• サブポピュレーションシフトの評価に関して、指標、データ/検証属性の利用可能性、モデル選択戦略を調査する。
• 最悪グループの精度と他のパフォーマンス指標との現実的なトレードオフを強調し、評価決定に情報を提供する。

提案手法

• 入力を不変コア（x_core）と属性（a）に分解するジェネリックなフレームワークを提案し、PMIベースのアトリビューションと属性/クラスバイアス分解を可能にする。
• 4つの基本的なシフトタイプ（偽関連、属性不均衡、クラス不均衡、属性一般化）を定義し、それらの存在を相互情報量とエントロピーメトリクスで定量化する。
• 視覚、言語、医療を横断する12の実世界データセットと20のSOTAアルゴリズムを用意し、ERM、サブグループ堅牢性手法、データ拡張、ドメイン不変特徴、不均衡学習技術を横断して構成するベンチマークを構築する。
• トレーニング属性の可用性設定（トレーニング/検証で既知、検証でのみ既知、両方とも未知）と複数のモデル選択戦略を体系的に評価する。
• グ worst-グループのギャップと他の指標を比較するために1万モデル以上を訓練・評価し、属性グループラベルが利用できない場合には最悪クラス精度を堅牢な選択基準として用いる。

実験結果

リサーチクエスチョン

• RQ1 データセット全体で性能低下を説明する根本的なサブポピュレーションシフト成分は何か。
• RQ2 属性が訓練/検証時に未知である場合、現在のSOTAアルゴリズムは多様なシフトタイプでどのように性能を発揮するか。
• RQ3 グループに依存しない単純なモデル選択基準（例：最悪クラス精度）は、グループ情報を用いた選択と同等または近似できるか。
• RQ4 現実的なサブポピュレーションシフト下で、最悪グループ精度と他の重要な指標とのトレードオフはどうなるか。
• RQ5 表現学習と分類器戦略は、異なるシフトタイプ下での性能をどの程度分離させるか。

主な発見

• 既存のアルゴリズムは主に偽関連とクラス不均衡に対してサブグループのロバスト性を改善し、属性不均衡には制限的な改善しかなく、属性一般化には実質的な進展がない。
• 表現学習と分類器学習を分離すると、いくつかのシフトで顕著な利得が得られる一方、ERMベースの特徴はサブポピュレーションシフトには普遍的に十分ではない。
• 検証時に訓練属性が利用できない場合、最悪クラス精度は意外にも効果的なモデル選択基準となり、グループベースのoracle選択と比べて平均的な性能低下は通常2%未満。
• 最悪グループ精度と他の指標（例：最悪の場合の精度、キャリブレーション）との間には根本的なトレードオフがあり、WGAを超えた評価慣行の再考を促している。
• データセットを跨いでシフトの程度とタイプは異なり、細粒なシフト分析と適応的なベンチマークが求められる。
• 階層化されたバランス学習は一部のシフト（SC、CI）には有効だが、属性一般化には効果がなく、さまざまなシフト下でのSOTA手法には内在的な限界がある。