[論文レビュー] When Does Self-supervision Improve Few-shot Learning?

Jong-Chyi Su, Subhransu Maji+1 more|arXiv (Cornell University)|Oct 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 69被引用数 16

ひとこと要約

この論文は、自己教師あり学習（SSL）が、特に訓練データが不足している場合や入力が劣化している場合に、多様なドメインにおける少数ショットメタラーナーを顕著に向上させることを示している。大規模なプールからドメイン分類器を用いてドメイン内のラベルなし画像を選別することで、外部データや追加学習を一切用いずに、元のデータセット内の画像のみを用いる場合を上回る性能を達成し、相対誤差を最大27%まで低減した。

ABSTRACT

We investigate the role of self-supervised learning (SSL) in the context of few-shot learning. Although recent research has shown the benefits of SSL on large unlabeled datasets, its utility on small datasets is relatively unexplored. We find that SSL reduces the relative error rate of few-shot meta-learners by 4%-27%, even when the datasets are small and only utilizing images within the datasets. The improvements are greater when the training set is smaller or the task is more challenging. Although the benefits of SSL may increase with larger training sets, we observe that SSL can hurt the performance when the distributions of images used for meta-learning and SSL are different. We conduct a systematic study by varying the degree of domain shift and analyzing the performance of several meta-learners on a multitude of domains. Based on this analysis we present a technique that automatically selects images for SSL from a large, generic pool of unlabeled images for a given dataset that provides further improvements.

研究の動機と目的

• 訓練データが限られている状況で、自己教師あり学習（SSL）が少数ショット学習を改善するかどうかを調査すること。
• 自己教師あり学習とメタラーニングのデータとの間のドメインシフトが性能に与える影響を検討すること。
• 低リソースの少数ショット設定におけるSSLのために、大規模で一般的なプールから有用なラベルなし画像を効果的に選別する実用的手法を開発すること。
• 複数のメタラーナーと多様なドメイン、特に入力が劣化している困難なタスクを含む、SSLの有効性を評価すること。

提案手法

• 共有特徴バックボーンの正則化として、メタラーナーの学習中に補助的な自己教師ありタスク（例：パズルの再構成、回転予測）を適用する。
• ResNet-101の特徴を用いて、ソースドメインのデータと大規模なラベルなしプールを区別する二値ドメイン分類器を訓練する。
• ドメインシフトを最小限に抑えるために、ソースドメインに属する確率の予測値とプール全体の比を用い、重み付けされた重要度に基づいてSSL画像を選別する。
• ProtoNetなどの少数ショットメタラーナーの学習時に、選別された画像を自己教師あり学習に活用し、5つのベンチマークデータセットで一貫した評価を実施する。
• in-dataset SSL、大規模プールからのランダム選択、ドメイン重み付き選択、および元のデータセットの80%をSSLに使用するオラクルを用いた性能を比較する。
• データセットサイズ、入力品質（例：グレースケール、低解像度）、ドメインシフトの変化を変動させたアブレーションスタディを実施し、各要因の影響を分離する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが非常に少ない状況で、自己教師あり学習（SSL）は少数ショットメタラーナーの性能を向上させるか？
• RQ2 自己教師あり学習のデータと少数ショット学習データとの間のドメインシフトが性能に与える影響は何か？
• RQ3 大規模で一般的な画像プールから、高品質でドメインに適合したラベルなし画像を自動で選別し、少数ショット学習におけるSSLの性能を向上させることは可能か？
• RQ4 タスクの難易度が上昇する（例：訓練データが少ない、入力が劣化している）場合、SSLの利点はさらに大きくなるか？
• RQ5 提案手法は、ランダム選択と同様に、in-dataset画像のみを用いたSSLを上回る性能を達成できるか？

主な発見

• 自己教師あり学習により、少数ショットメタラーナーの相対誤差率が4%から27%まで低下し、SSLに使用する画像を同じデータセット内に限定しても成立する。
• ベースとなる訓練セットが小さい場合や入力が劣化している場合（例：グレースケールや低解像度）に、SSLの恩恵が顕著に現れ、特に困難な少数ショット状況での有用性が高まることを示している。
• ドメイン外のソースからのラベルなし画像を追加すると性能が低下し、ドメインシフトがメタラーナーの正確性に悪影響を与えることが判明した。
• 大規模なラベルなしプールから画像をランダムに選択すると、特にcars、dogs、flowersなどのデータセットでは性能が悪化することが多い。
• 大規模なプールからドメインに適合した画像をドメイン重み付き選択で特定することで、5つの評価済みデータセットすべてでランダム選択およびin-dataset SSLを上回る性能を達成した。
• 提案手法は、元のデータセットの80%をSSLに使用するオラクルに非常に近い性能を達成しており、低データ環境における強力な実用的価値を示している。