[論文レビュー] Boosting Supervision with Self-Supervision for Few-shot Learning

Jong-Chyi Su, Subhransu Maji+1 more|arXiv (Cornell University)|Jun 17, 2019

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 5

ひとこと要約

本論文は、少数のラベル付きデータセットにおける訓練中に自己教師あり学習を補助タスクとして用いることで、少サンプル学習における特徴の転移性を向上させることを提案する。データ内に存在する画像を活用して、ジグソーパuzzleや回転予測といった事前学習タスクを生成することで、メタラーナーのベンチマークにおいて相対誤差を5–25%削減し、特に困難な入力や劣化した入力においても分類精度を向上させる。

ABSTRACT

We present a technique to improve the transferability of deep representations learned on small labeled datasets by introducing self-supervised tasks as auxiliary loss functions. While recent approaches for self-supervised learning have shown the benefits of training on large unlabeled datasets, we find improvements in generalization even on small datasets and when combined with strong supervision. Learning representations with self-supervised losses reduces the relative error rate of a state-of-the-art meta-learner by 5-25% on several few-shot learning benchmarks, as well as off-the-shelf deep networks on standard classification tasks when training from scratch. We find the benefits of self-supervision increase with the difficulty of the task. Our approach utilizes the images within the dataset to construct self-supervised losses and hence is an effective way of learning transferable representations without relying on any external training data.

研究の動機と目的

• 少数のラベル付きデータセットから学習された深層表現の転移性を、少サンプル学習において向上させること。
• 外部の未ラベル付きデータセットに依存せずに、限られたデータでも自己教師あり学習が一般化性能を向上させられるかどうかを調査すること。
• 自己教師あり学習が、メタラーニングおよび標準分類タスクの両方における影響を評価すること。
• 自己教師あり損失が過学習を軽減し、低解像度やグレースケール画像などの困難な入力においても耐性を向上させるかどうかを理解すること。

提案手法

• 訓練データセット内の画像のみを用いて、ジグソーパuzzleの復元と画像の回転予測といった自己教師あり事前学習タスクを導入する。
• 標準の交差エントロピー損失と補助的な自己教師あり損失を組み合わせたマルチタスクの最適化により、深層ネットワークを学習する。
• 外部データを一切使用せず、少サンプルメタラーニング（例：ProtoNets）および標準分類（例：ResNet18）の両方のタスクに本手法を適用する。
• 類似度マップを用いて特徴の重要度を分析し、特に前景と背景への注目度の違いを解釈する。
• 標準の少サンプルベンチマーク（miniImageNet、CIFAR-FS）および標準データセット（CUB-200、Cars、Aircrafts、Dogs、Flowers）を用いて評価する。
• 勾配ベースの類似度マップを用いて、予測に寄与する画像領域を可視化し、自己教師あり学習を適用したモデルとそうでないモデルを比較する。

実験結果

リサーチクエスチョン

• RQ1 外部データを一切使用せず、ドメイン内に限定された少数のデータセットに対して自己教師あり学習を適用した場合、少サンプル一般化性能が向上するか？
• RQ2 タスクの難易度が上昇する（例：クラス数の増加や画像品質の低下）場合、自己教師あり学習の恩恵がより大きくなるか？
• RQ3 自己教師あり学習は、特に前景領域と背景領域への注目度にどのように影響を与えるか？
• RQ4 自己教師あり損失は、標準分類タスクにおいて、深層ネットワークをスクラッチから訓練する際に性能を向上させるか？

主な発見

• ジグソーパuzzleまたは回転予測を補助タスクとして追加することで、最先端のメタラーナーの相対誤差が少サンプルベンチマークで5–25%低下した。
• 5-way 5-shot の miniImageNet では、ジグソーパuzzle損失を導入した ProtoNet が 85.40% の精度を達成したのに対し、標準的な ProtoNet は 82.24% であり、絶対誤差で 3.16% の向上を示した。
• 20-way 5-shot では、ジグソーパuzzleを追加した ProtoNet が 87.59% の精度に達したのに対し、ベースラインは 86.08% であり、絶対誤差で 1.74% の向上を示した。
• 標準分類タスクにおいても、自己教師あり学習により ResNet18 の精度が全5つのデータセットで向上した。特に、回転予測により鳥（birds）の精度が 4.1%、車（cars）の精度が 3.1% 向上した。
• 劣化した入力（例：グレースケールや低解像度）では、自己教師あり学習の恩恵がより顕著に現れ、より困難なタスクにおいて強い利点を示した。
• 類似度マップの結果、自己教師あり学習で訓練されたモデルは、背景の雑音に依存するのを減らし、前景オブジェクトにより注目する傾向にあった。これは、誤った相関関係に依存するのを軽減していることを示唆している。