[論文レビュー] MetaShift: A Dataset of Datasets for Evaluating Contextual Distribution Shifts and Training Conflicts

Weixin Liang, James Zou|arXiv (Cornell University)|Feb 14, 2022

Cell Image Analysis Techniques被引用数 13

ひとこと要約

MetaShift は、文脈的メタデータを用いてクラスタリングすることで、410 クラスにまたがる 12,868 つの自然画像サブセットから構成される大規模かつ構造的なベンチマークを提供する。このベンチマークは、多様なデータ分布シフトをモデル化し、各サブセットの特徴を明示的にアノテートするとともに、シフト距離スコアを定量的に算出することで、モデルのロバストネスの評価やトレーニングの矛盾の可視化を可能にする。結果として、中程度のシフトでは経験的リスク最小化（ERM）が最も優れた性能を示すが、大規模なシフトではどの手法も一貫して他を上回らないことが明らかになった。

ABSTRACT

Understanding the performance of machine learning models across diverse data distributions is critically important for reliable applications. Motivated by this, there is a growing focus on curating benchmark datasets that capture distribution shifts. While valuable, the existing benchmarks are limited in that many of them only contain a small number of shifts and they lack systematic annotation about what is different across different shifts. We present MetaShift--a collection of 12,868 sets of natural images across 410 classes--to address this challenge. We leverage the natural heterogeneity of Visual Genome and its annotations to construct MetaShift. The key construction idea is to cluster images using its metadata, which provides context for each image (e.g. "cats with cars" or "cats in bathroom") that represent distinct data distributions. MetaShift has two important benefits: first, it contains orders of magnitude more natural data shifts than previously available. Second, it provides explicit explanations of what is unique about each of its data sets and a distance score that measures the amount of distribution shift between any two of its data sets. We demonstrate the utility of MetaShift in benchmarking several recent proposals for training models to be robust to data shifts. We find that the simple empirical risk minimization performs the best when shifts are moderate and no method had a systematic advantage for large shifts. We also show how MetaShift can help to visualize conflicts between data subsets during model training.

研究の動機と目的

• 既存のベンチマークにおいて、データ分布シフトのための体系的で細分化されたアノテーションの欠如に応えること。
• 現実世界の文脈における自然で多様なデータ分布を捉える大規模かつ構造的なデータセットを構築すること。
• 制御的かつ調整可能な分布シフトの下で、モデルのパフォーマンスとトレーニングダイナミクスの評価を可能にすること。
• 最適化プロセス中に、異なるデータサブセット間の矛盾するトレーニング信号を可視化・分析すること。
• 利用可能なメタデータを用いて、他のドメインに対しても同様のベンチマークを構築可能な再利用可能なフレームワークを提供すること。

提案手法

• Visual Genome データセットとその豊富なメタデータ（例：オブジェクト、属性、シーンコンテキスト）を活用し、異なるデータ分布を表す画像クラスタを定義すること。
• メタデータに基づくクラスタリングを用いて、12,868 個の整合性のあるサブセットに画像をグループ化し、それぞれが固有の文脈的分布（例：「車のそばの猫」、「ベンチの上の犬」）に対応すること。
• 各サブセットに対して、そのユニーク性を明示的に記述するアノテーションを付与すること（例：特定のオブジェクトやシーンの存在）。
• メタデータと視覚的特徴に基づく学習済みメトリクスを用いて、任意の2つのサブセット間の分布シフト距離スコアを計算すること。
• サブセット所属情報を用いてトレーニング中の勾配更新を特定し、サブセット間でのトレーニングの矛盾を分析すること。
• 標準的なベースライン（例：DomainBed）を用いて、ドメイン一般化とサブポピュレーションシフトの設定におけるベンチマークの適用を行うこと。

実験結果

リサーチクエスチョン

• RQ1 さまざまな度合いの自然な分布シフトの下で、異なるロバスト学習アルゴリズムの性能はどのように変化するか？
• RQ2 文脈が異なるデータサブセット間の矛盾するトレーニング信号を体系的かつ可視化的に定量化できるか？
• RQ3 経験的リスク最小化（ERM）は、中程度のシフトと大規模なシフトの両方の状況で競争力を持つままであるか？
• RQ4 どのデータサブセットがモデルの一般化に最も貢献し、最も貢献しないのか、その理由は何か？
• RQ5 MetaShift は、屋内／屋外のコンテキスト依存性といった、トレーニング中に導入されるバイアスや誤った相関関係を明らかにできるか？

主な発見

• 中程度の分布シフトの下では、経験的リスク最小化（ERM）が最も優れたパフォーマンスを示し、現実的状況下でも強力なベースラインのままであることが示された。
• 大規模な分布シフトの下では、どのロバスト学習手法も一貫して他を上回らないことが明らかになった。これは、ドメイン一般化が依然として大きな未解決課題であることを示している。
• 共通する誤った特徴（スパイルフィーチャー）を持つサブセット間では、トレーニングの矛盾が顕著に見られ、たとえば「屋内の猫」と「屋内の犬」のサブセットは、共通する屋内コンテキストにより矛盾を引き起こし、モデルがより汎用的な特徴を学習するよう強制される。
• トレーニングへの貢献度が低いサブセット（例：「蛇口の猫」や「フリスビーの犬」）は、実際には非常に単純であり、出域検証セットとして使用した際の正確度がそれぞれ 98.1% および 96.6% に達するなど、近似的に完璧な性能を示している。
• 類似したサブセット間でもモデルの挙動が著しく異なることが判明した。たとえば、「トラックの犬」サブセットは、他のすべての「犬」サブセットと矛盾を示し、学習信号の整合性が著しく低いことが明らかになった。
• トレーニングの矛盾を可視化した結果、特定のサブセット（例：屋外の犬の画像）は、他の屋外サブセットよりも屋内サブセットの学習からより大きな利益を得ており、矛盾する信号が一般化性能の向上に寄与していることが明らかになった。