[論文レビュー] Adaptive Risk Minimization: A Meta-Learning Approach for Tackling Group Shift

Marvin Mengxin Zhang, Henrik Marklund+4 more|arXiv (Cornell University)|May 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 89被引用数 39

ひとこと要約

この論文は、テスト時の分布シフトに適応するためにラベルなしバッチデータを使用するメタラーニングフレームワーク、適応的リスク最小化（ARM）を導入する。メタトレーニング中にグループの分布シフトをシミュレートすることで、ARMは分布シフト下での画像分類タスクにおけるロバスト性とパフォーマンスを向上させ、先行手法を上回る。

ABSTRACT

A fundamental assumption of most machine learning algorithms is that the training and test data are drawn from the same underlying distribution. However, this assumption is violated in almost all practical applications: machine learning systems are regularly tested under distribution shift, due to temporal correlations, particular end users, or other factors. In this work, we consider the setting where the training data are structured into groups and test time shifts correspond to changes in the group distribution. Prior work has approached this problem by attempting to be robust to all possible test time distributions, which may degrade average performance. In contrast, we propose to use ideas from meta-learning to learn models that are adaptable, such that they can adapt to shift at test time using a batch of unlabeled test points. We acquire such models by learning to adapt to training batches sampled according to different distributions, which simulate structural shifts that may occur at test time. Our primary contribution is to introduce the framework of adaptive risk minimization (ARM), a formalization of this setting that lends itself to meta-learning. We develop meta-learning methods for solving the ARM problem, and compared to a variety of prior methods, these methods provide substantial gains on image classification problems in the presence of shift.

研究の動機と目的

• トレーニングデータとテストデータが異なるグループ分布から来る分布シフトの課題に対処すること。
• 過剰に慎重になりすぎて平均パフォーマンスが低下する先行のロバスト学習手法の限界を克服すること。
• ラベルなしの小さなテストバッチデータのみを用いて、テスト時に新しいグループ分布に効率的に適応できるモデルを開発すること。
• ARMフレームワークを通じて、分布シフト適応の問題をメタラーニングタスクとして形式化すること。
• さまざまなタイプのグループシフト下での画像分類ベンチマークにおけるパフォーマンスを向上させること。

提案手法

• モデルが変動するグループ分布に適応できるように、適応的リスク最小化（ARM）として分布シフトの問題を形式化する。
• 多様なトレーニングバッチを異なるグループ分布からサンプリングすることで、メタラーニングを用いて、テスト時のシフトをシミュレートする。
• ラベルなしの小さなテストデータバッチに基づいてモデルパラメータを更新するメタラーナーを学習する。
• メタトレーニング中に複数のシミュレートされた分布シフトの期待リスクを最小化することで、メタ目的を最適化する。
• 勾配ベースのメタラーニング（例：MAMLスタイル）を用いて、少数のテストサンプルで高速適応を可能にする。
• サポートセットベースの適応メカニズムを採用し、モデルが新しいグループ分布からの少数のラベルなしテスト例を用いて重みを更新する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングは、テスト時に分布シフトに適応するモデルを効果的に訓練するために有効に利用できるか？
• RQ2 提案されたARMフレームワークは、分布シフト下でのパフォーマンスにおいて、先行のロバスト学習手法と比べてどのように異なるか？
• RQ3 ラベルなしの小さなテストデータバッチを用いた適応は、シフトしたグループ分布間での一般化をどの程度向上させるか？
• RQ4 多様なシミュレートされたシフトでトレーニングするメタラーニングアプローチは、より優れたロバスト性と平均パフォーマンスをもたらすか？

主な発見

• 提案されたARMフレームワークは、先行手法と比較して、分布シフト下での画像分類ベンチマークで顕著なパフォーマンス向上を達成する。
• ARMでトレーニングされたモデルは、元の分布でのパフォーマンスを損なうことなく、さまざまなタイプのグループシフトに対して優れたロバスト性を示す。
• ラベルなしの小さなテストデータバッチを用いた適応により、シフトしたテストセットでの正確性が顕著に向上する。
• メタラーニングアプローチにより、高速かつ効果的な適応が可能となり、最悪の分布シフトを仮定する手法を上回る。
• 実験結果から、ARMは分布シフトに対してロバストである一方で、高い平均パフォーマンスを維持することが示された。