[論文レビュー] Transfer Learning or Self-supervised Learning? A Tale of Two Pretraining Paradigms

Xingyi Yang, Xuehai He+4 more|arXiv (Cornell University)|Jun 19, 2020

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、自己教師あり学習（SSL）と転移学習（TL）を、複数のデータおよびタスク特性において包括的な実験比較している。ドメインシフトが大きい、または事前学習データが限られている状況ではSSLがTLを上回るが、大規模でバランスの取れたソースデータセットと小さなドメインギャップがある場合にはTLが優れる。本研究は、応用固有の特性に基づいて事前学習手法を選択するための実用的ガイドラインを提供する。

ABSTRACT

Pretraining has become a standard technique in computer vision and natural language processing, which usually helps to improve performance substantially. Previously, the most dominant pretraining method is transfer learning (TL), which uses labeled data to learn a good representation network. Recently, a new pretraining approach -- self-supervised learning (SSL) -- has demonstrated promising results on a wide range of applications. SSL does not require annotated labels. It is purely conducted on input data by solving auxiliary tasks defined on the input data examples. The current reported results show that in certain applications, SSL outperforms TL and the other way around in other applications. There has not been a clear understanding on what properties of data and tasks render one approach outperforms the other. Without an informed guideline, ML researchers have to try both methods to find out which one is better empirically. It is usually time-consuming to do so. In this work, we aim to address this problem. We perform a comprehensive comparative study between SSL and TL regarding which one works better under different properties of data and tasks, including domain difference between source and target tasks, the amount of pretraining data, class imbalance in source data, and usage of target data for additional pretraining, etc. The insights distilled from our comparative studies can help ML researchers decide which method to use based on the properties of their applications.

研究の動機と目的

• 実際の応用において、自己教師あり学習（SSL）と転移学習（TL）のどちらを選ぶべきか明確なガイドラインが不足しているという問題に対処すること。
• ドメイン差、事前学習データサイズ、クラス不均衡、ターゲットデータの使用方法といった、データおよびタスク特性がSSLとTLの相対的パフォーマンスに与える影響を調査すること。
• 機械学習研究者に、応用固有の条件に基づいたデータ駆動型で実行可能な推奨事項を提供し、最適な事前学習パラダイムを選択できるようにすること。
• 系統的な要因を特定することで、実験的試行錯誤の必要性を減らし、一方の手法が他方を上回る状況を予測可能にする。

提案手法

• 自然画像、医療画像、シーン認識を含む多様な分野をカバーする5つのソースタスクと4つのターゲットタスクで、制御された実験を実施。
• ドメイン差、事前学習データ量、ソースデータ内のクラス不均衡、ターゲットデータを追加の事前学習に使用するかどうかの4つの主要要因を体系的に変化させた。
• 標準的な評価プロトコルを用いた：ソースデータで事前学習し、その後ターゲットデータで微調整し、すべての組み合わせで精度を測定。
• 同一のネットワークアーキテクチャとトレーニング手順のもとで、SSL（例：MoCoスタイルの対照的学習）とTL（教師あり事前学習）を比較。
• 極端なクラス不均衡やドメインシフトを含む、さまざまなデータ条件におけるパフォーマンス安定性を評価。
• ソース＋ターゲットデータでの事前学習が、ソースのみまたはターゲットのみでの事前学習と比べてどのように影響するかを分析。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で自己教師あり学習（SSL）が転移学習（TL）を上回り、逆にTLがSSLを上回るのか？
• RQ2 ソースタスクとターゲットタスク間のドメイン差が、SSLとTLの相対的パフォーマンスにどのように影響するか？
• RQ3 事前学習データ量が、SSLとTLの比較的効果にどのように影響するか？
• RQ4 SSLとTLは、ソースデータセット内のクラス不均衡に対してどの程度感受性を示すか？
• RQ5 ターゲットタスクデータを追加の事前学習に使用することでパフォーマンスが向上するか？その効果はSSLとTLで異なるか？

主な発見

• ソースタスクとターゲットタスク間のドメイン差が大きい場合、SSLがTLを上回る。ドメイン差が小さい場合、TLがより優れる。
• 事前学習データ量が少ない場合、SSLがTLを上回る。データ量が多い場合、TLがSSLを上回る。
• ドメイン差の変動に対して、SSLのパフォーマンスはTLよりも安定している。TLはドメインシフトが大きいと顕著なパフォーマンス低下を示す。
• ドメイン差が小さい場合、SSLは事前学習データ量の変化に対してTLほど感受性が低く、データ量の変化によるパフォーマンスの変動が小さい。
• SSLはクラス不均衡に対してより頑健である：COVID-CTタスクにおいて、SSLの性能差は不均衡比の違いで4.3%（絶対値）にとどまるが、TLは6.5%の差を示す。
• SSLでは、ソース＋ターゲットデータでの事前学習が、ソースのみまたはターゲットのみでの事前学習よりもパフォーマンスが向上する。一方、TLでは、ソース＋ターゲットでの事前学習は、ターゲットタスクへの注力が薄れるため、ソースのみでの事前学習に劣る。