[論文レビュー] Improving out-of-distribution generalization via multi-task self-supervised pretraining

Isabela Albuquerque, Nikhil Naik+3 more|arXiv (Cornell University)|Mar 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 27

ひとこと要約

本論文は、Gaborフィルターバンクへの応答を予測するという新しい前処理タスクを導入し、回転学習や対照的学習と組み合わせることで、コンピュータビジョンにおける分布外（OOD）一般化を向上させるマルチタスク自己教師あり学習（SSL）を提案する。この手法は、特に大きなドメインシフトが生じる状況下でも、教師あり事前学習よりも優れたドメイン一般化性能を達成しており、不変リスク最小化（IRM）のようなドメイン一般化手法と組み合わせることでさらなる性能向上が可能である。

ABSTRACT

Self-supervised feature representations have been shown to be useful for supervised classification, few-shot learning, and adversarial robustness. We show that features obtained using self-supervised learning are comparable to, or better than, supervised learning for domain generalization in computer vision. We introduce a new self-supervised pretext task of predicting responses to Gabor filter banks and demonstrate that multi-task learning of compatible pretext tasks improves domain generalization performance as compared to training individual tasks alone. Features learnt through self-supervision obtain better generalization to unseen domains when compared to their supervised counterpart when there is a larger domain shift between training and test distributions and even show better localization ability for objects of interest. Self-supervised feature representations can also be combined with other domain generalization methods to further boost performance.

研究の動機と目的

• トレーニング時とは異なるデータ分布でテストされた際のモデルの失敗を防ぐ、コンピュータビジョンにおける分布外（OOD）一般化の課題に対処すること。
• 自己教師あり特徴表現が、ドメイン一般化の文脈で教師あり事前学習の性能を上回るか、同等に達するかどうかを調査すること。
• 互換性のある前処理タスクを用いたマルチタスク自己教師あり学習が、ドメインシフトに対するロバスト性を向上させることの有効性を評価すること。
• 自己教師あり表現が、不変リスク最小化（IRM）のような既存のドメイン一般化技術と互換性を持つかどうかを検討すること。

提案手法

• 著者らは、ドメイン一般化に有用なテクスチャーやエッジ情報を捉えるために、Gaborフィルターバンクへの応答を予測する新しい自己教師あり前処理タスクを導入した。
• 標準的なSSL前処理タスク（例：回転予測、対照的学習（MoCoスタイル））とこのタスクを組み合わせ、マルチタスク学習の枠組みで統合した。
• マルチタスクSSLフレームワークは、複数の前処理タスクを同時に使用してラベルなしデータ上で共有特徴エンコーダーを学習させることで、分離可能でドメイン不変な表現の学習を促進する。
• すべてのタスクに共通する1つのエンコーダーヘッドを用い、バックプロパゲーションによりすべての前処理目的にわたって共有特徴が更新される。
• 学習された自己教師あり特徴は、標準的な経験的リスク最小化（ERM）によるファインチューニングや、ドメイン一般化の目的でIRMと組み合わせて使用される。
• PACSおよびVLCSベンチマークを用いた実験を行い、ホールドアウトドメインでの評価を通じてOOD一般化性能を測定した。

実験結果

リサーチクエスチョン

• RQ1 標準ベンチマーク上で、教師あり事前学習と比較してマルチタスク自己教師あり学習が分布外一般化を向上させられるか？
• RQ2 提案されたGaborフィルターバンク前処理タスクが、特に大きなドメインシフト下でもドメイン一般化に有意義な寄与をしているか？
• RQ3 自己教師あり表現が、IRMのような既存のドメイン一般化手法と効果的に組み合わせられ、OOD性能をさらに向上させられるか？
• RQ4 低リソースの分布外ドメインでファインチューニングされた際、自己教師あり特徴の性能が教師あり特徴と比べてどのように異なるか？

主な発見

• PACSベンチマークでは、マルチタスク前処理タスク（R+G+DC）を用いた自己教師あり学習が、OOD一般化において平均65.86%の精度を達成し、ERM下での教師ありベースライン（60.44%）を上回った。
• VLCSベンチマークでは、自己教師あり特徴がIRMを用いて平均68.46%の精度を達成したのに対し、教師あり事前学習では67.76%であった。これは一貫した改善を示している。
• PACSのSketchドメインでは、自己教師あり学習がIRMを用いて62.66%の精度を達成したが、教師ありベースラインは46.50%にとどまり、顕著な優位性を示した。
• VLCSのCaltech101ドメインでは、自己教師あり特徴が教師あり特徴（IRM下で87.74%対87.74%）を上回ったが、このケースでは改善は限定的であった。
• 自己教師あり特徴は、特にImageNetとは大きく異なるドメイン（例：Sketch、LabelMe）において、関心対象のオブジェクトの局所化能力が優れていた。
• マルチタスクSSLとIRMの組み合わせが、すべてのターゲットドメインで最高の性能を示し、自己教師あり学習とドメイン一般化最適化の相乗効果が裏付けられた。