[論文レビュー] Adapting ImageNet-scale models to complex distribution shifts with self-learning

Evgenia Rusak, Steffen Schneider+4 more|arXiv (Cornell University)|Apr 27, 2021

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 9

ひとこと要約

この論文は、複雑な分布シフト下でのImageNetスケールのデータセットにおける耐性を著しく向上させる自己学習フレームワークを提案する。教師・生徒間の頻繁な更新、わずかなアフィンパラメータの微調整、およびラベルノイズを軽減するための耐性のある分類技術の適用により、ImageNet-C（22.0% mCE）、ImageNet-R（17.4% 誤差）、ImageNet-A（14.8% 誤差）で最先端の結果を達成しており、既存の耐性強化手法と組み合わせることでさらなる向上が得られる。

ABSTRACT

While self-learning methods are an important component in many recent domain adaptation techniques, they are not yet comprehensively evaluated on ImageNet-scale datasets common in robustness research. In extensive experiments on ResNet and EfficientNet models, we find that three components are crucial for increasing performance with self-learning: (i) using short update times between the teacher and the student network, (ii) fine-tuning only few affine parameters distributed across the network, and (iii) leveraging methods from robust classification to counteract the effect of label noise. We use these insights to obtain drastically improved state-of-the-art results on ImageNet-C (22.0% mCE), ImageNet-R (17.4% error) and ImageNet-A (14.8% error). Our techniques yield further improvements in combination with previously proposed robustification methods. Self-learning is able to reduce the top-1 error to a point where no substantial further progress can be expected. We therefore re-purpose the dataset from the Visual Domain Adaptation Challenge 2019 and use a subset of it as a new robustness benchmark (ImageNet-D) which proves to be a more challenging dataset for all current state-of-the-art models (58.2% error) to guide future research efforts at the intersection of robustness and domain adaptation on ImageNet scale.

研究の動機と目的

• 自己学習手法をImageNetスケールのデータセットに評価すること。これは耐性研究の中心的役割を果たすが、この文脈では未だ十分に検討されていない。
• 大規模なビジョンモデルにおける複雑な分布シフトに効果的に対処できる自己学習の鍵となる要因を同定すること。
• ImageNet-C、ImageNet-R、ImageNet-Aといった標準的な耐性ベンチマークでの最先端性能を向上させること。
• Visual Domain Adaptation Challenge 2019のデータセットを基に、より困難な新ベンチマーク「ImageNet-D」を提案し、今後の研究を導くこと。

提案手法

• 自己学習の安定化と高速化を図るため、教師ネットワークと生徒ネットワーク間で頻繁に重みを更新する。
• 過学習を抑えて一般化性能を向上させるために、ネットワーク全体に分散配置された少数のアフィンパラメータ（例：バッチ正則化層）に限定して微調整を実施する。
• 偽ラベルのノイズに起因する悪影響を軽減するため、ラベルスムージングや一貫性正則化などの耐性のある分類技術を適用する。
• 教師が生成した偽ラベルを用いて生徒ネットワークを訓練し、複数回の自己学習サイクルによる段階的改善を実現する。
• 既存の耐性強化手法と本手法の自己学習戦略を統合することで、さらなる性能向上を達成する。
• Visual Domain Adaptation Challenge 2019の一部のデータセットを再利用し、より複雑なドメインシフトを反映する新ベンチマーク「ImageNet-D」を構築する。

実験結果

リサーチクエスチョン

• RQ1 複雑な分布シフト下におけるImageNetスケールのデータセットでの有効な自己学習に不可欠な要因は何か？
• RQ2 頻繁な教師・生徒間の更新と選択的パラメータ微調整は、モデルの耐性と収束にどのように影響するか？
• RQ3 耐性のある分類技術は、自己学習におけるノイズの多い偽ラベルが引き起こす性能低下をどの程度軽減できるか？
• RQ4 自己学習のみでトップ-1誤差をどれほど低く抑えることができるか。他の手法によるさらなる向上が限界に達するか？
• RQ5 提案されたImageNet-Dベンチマークは、既存のImageNet耐性ベンチマークと比較してどれほど困難か？

主な発見

• 提案された自己学習フレームワークは、ImageNet-Cで22.0%の平均汚損誤差（mCE）を達成し、先行手法を著しく上回る最先端の性能を示した。
• ImageNet-Rでは誤差を17.4%まで低減し、スタイルやオブジェクトカテゴリのシフトに対しても強い一般化性能を示した。
• ImageNet-Aでは14.8%の誤差率を達成し、敵対的攻撃やレアオブジェクトのシフトに対しても高い耐性を示した。
• 自己学習と既存の耐性強化手法を組み合わせることでさらなる性能向上が得られ、相補的な強みがあることが示された。
• 新規のImageNet-Dベンチマークでは、最先端モデルのトップ-1誤差が58.2%に達し、既存のベンチマークよりもはるかに困難であることが示された。
• 自己学習のみで誤差が最小限に抑えられ、他の手法によるさらなる向上がほとんど得られなくなったことから、現在のベンチマークでは性能のピークに達している可能性がある。