[論文レビュー] If your data distribution shifts, use self-learning

Evgenia Rusak, Steffen Schneider+6 more|arXiv (Cornell University)|Apr 27, 2021

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本論文は、自己学習手法—特にエントロピー最小化と偽ラベル付け—が、元の学習データにアクセスできない状況でも、体系的なデータ分布シフトの下で深層学習モデルの性能を顕著に向上させることを示している。本手法は、ImageNet-C（22.0% mCE）、ImageNet-R（17.4% 誤差）、ImageNet-A（14.8% 誤差）で最先端の結果を達成し、アーキテクチャや事前学習手法にかかわらず一貫した向上効果を示している。適応にはわずか数エポックの学習で十分である。

ABSTRACT

We demonstrate that self-learning techniques like entropy minimization and pseudo-labeling are simple and effective at improving performance of a deployed computer vision model under systematic domain shifts. We conduct a wide range of large-scale experiments and show consistent improvements irrespective of the model architecture, the pre-training technique or the type of distribution shift. At the same time, self-learning is simple to use in practice because it does not require knowledge or access to the original training data or scheme, is robust to hyperparameter choices, is straight-forward to implement and requires only a few adaptation epochs. This makes self-learning techniques highly attractive for any practitioner who applies machine learning algorithms in the real world. We present state-of-the-art adaptation results on CIFAR10-C (8.5% error), ImageNet-C (22.0% mCE), ImageNet-R (17.4% error) and ImageNet-A (14.8% error), theoretically study the dynamics of self-supervised adaptation methods and propose a new classification dataset (ImageNet-D) which is challenging even with adaptation.

研究の動機と目的

• 実世界の展開環境における体系的ドメインシフト下で、自己学習手法がモデル性能を向上させられるかどうかを評価すること。
• 元の学習データが入手不可であるソースフリー領域適応設定において、自己学習の有効性を調査すること。
• Test-Time Training や BatchNorm 適応といった既存のテスト時適応手法と比較して、自己学習の性能を評価すること。
• ドメインシフト適応における自己学習のハイパーパrameterの頑健性と設計選択の影響を分析すること。
• 極めて困難な分布シフトに耐性を持つモデルの評価を目的とした、新規ベンチマークデータセット ImageNet-D の導入

提案手法

• 著者らは、推論時における未ラベル付きターゲットドメインデータに対してエントロピー最小化と偽ラベル付けを適用し、モデルの予測結果を偽ラベルとして用いて予測を精緻化する。
• 適応は、バッチ正規化層または最終分類器ヘッドのみをファインチューニングすることで実施され、未ラベル付きターゲットサンプルの予測のエントロピーを最小化する。
• 本手法はソースフリー設定で適用される：元のソース学習データへのアクセスは不要であり、実世界の展開に実用的である。
• 本手法は、さまざまなモデルアーキテクチャ（例：ResNet50、BigTransfer）および事前学習手法（例：ImageNet 事前学習、自己教師学習）を対象として評価されている。
• ハイパーパramータのアブレーションスタディを、学習率および適応エポック数の観点から実施し、頑健性と最適な設定を評価している。
• 極端な分布シフト下でのモデルの頑健性を評価する目的で、新規ベンチマーク ImageNet-D が導入されている。

実験結果

リサーチクエスチョン

• RQ1 元の学習データにアクセスできない状況でも、エントロピー最小化や偽ラベル付けといった自己学習手法が、体系的なデータ分布シフト下でモデル性能を向上させられるか？
• RQ2 ソースフリー設定において、Test-Time Training や BatchNorm 適応といった最先端のテスト時適応手法と比較して、自己学習はどのように性能を発揮するか？
• RQ3 自己学習による性能向上は、モデルアーキテクチャ、事前学習手法、または分布シフトの種別に依存するか？
• RQ4 自己学習手法は、学習率や適応エポック数といったハイパーパramータの選択に対してどれほど頑健か？
• RQ5 テスト時における自己学習を適用することで、自己学習ベースの自己教師的領域適応（UDA）手法を上回ることができるか？

主な発見

• 自己学習手法は、ImageNet-C において 22.0% の平均汚損誤差（mCE）を達成し、先行手法を顕著に上回る最先端の性能を示している。
• ImageNet-R では誤差を 17.4% まで低減し、スタイルやオブジェクトカテゴリのシフトに対して強い頑健性を示している。
• ImageNet-A では 14.8% の誤差を達成し、レアな画像や敵対的分布に対して効果的であることが示された。
• 自己学習による向上効果は、多様なモデルアーキテクチャや事前学習手法にわたり一貫しており、広範な適用可能性を示している。
• エントロピー最小化と偽ラベル付けの両方が顕著な改善をもたらし、特に偽ラベル付け（RPL）が多数のベンチマークでエントロピー最小化（ENT）を上回っている。
• 本手法はハイパーパラメータの選択に対して頑健であり、1〜7エポックの適応で十分であり、実世界の展開に実用的である。