[論文レビュー] Towards a Hypothesis on Visual Transformation based Self-Supervision

Dipan K. Pal, Sreena Nallamothu+1 more|ArXiv.org|Nov 24, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 5

ひとこと要約

本論文は、視覚的変換に基づく自己教師あり表現学習が、予測された変換がデータセットにすでに存在するサンプルにマッピングされる場合に失敗し、退化した特徴が生じることを予測する、視覚的変換に基づく自己教師あり学習（VTSS）仮説を提唱する。仮説は変換の競合を重要な制約要因として特定し、特に組み合わせた場合に、平行移動およびスケーリングに基づく自己教師あり学習が回転のみに比べて優れていることを実験的に検証している。

ABSTRACT

We propose the first qualitative hypothesis characterizing the behavior of visual transformation based self-supervision, called the VTSS hypothesis. Given a dataset upon which a self-supervised task is performed while predicting instantiations of a transformation, the hypothesis states that if the predicted instantiations of the transformations are already present in the dataset, then the representation learned will be less useful. The hypothesis was derived by observing a key constraint in the application of self-supervision using a particular transformation. This constraint, which we term the transformation conflict for this paper, forces a network learn degenerative features thereby reducing the usefulness of the representation. The VTSS hypothesis helps us identify transformations that have the potential to be effective as a self-supervision task. Further, it helps to generally predict whether a particular transformation based self-supervision technique would be effective or not for a particular dataset. We provide extensive evaluations on CIFAR 10, CIFAR 100, SVHN and FMNIST confirming the hypothesis and the trends it predicts. We also propose novel cost-effective self-supervision techniques based on translation and scale, which when combined with rotation outperforms all transformations applied individually. Overall, this paper aims to shed light on the phenomenon of visual transformation based self-supervision.

研究の動機と目的

• 特定の視覚的変換に基づく自己教師あり学習手法が失敗または成功する理由を理論的に理解すること。
• 視覚的変換を用いた自己教師ありタスクにおける表現学習の劣化の根本的要因を同定すること。
• データセットおよび変換の特性に基づいて、変換に基づく自己教師あり学習の有効性を予測する仮説を提唱すること。
• 仮説の実験的検証を行い、新たな平行移動およびスケーリングに基づく自己教師ありタスクによる性能向上を示すこと。

提案手法

• VTSS仮説を提唱：変換されたサンプル（g₁(x), g₂(x)）が既にデータセットに存在する場合、変換の競合により生じるため、得られる表現は役に立たなくなる。
• 変換の競合を、g(x) が既存のデータポイントにマッピングされる状態として定義し、ネットワークが退化した特徴を学習することを強制する。
• 変換の競合を回避するために、仮説に基づいて新たな自己教師ありタスク（平行移動およびスケーリング）を導入する。
• 自己教師あり学習に4層の畳み込みブロックCNNアーキテクチャを採用し、下流の半教師あり分類タスク用に1層の畳み込みブロックヘッドを微調整する。
• 自己教師ありおよび教師ありサンプルの数、自己教師あり学習で使用するクラス数を変化させたアブレーションスタディを実施する。
• 標準的な線形評価プロトコルを用いて、CIFAR-10、CIFAR-100、SVHN、FMNISTで結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 視覚的変換に基づく自己教師あり学習が、どのような条件下で有用な表現を学習できないのか。
• RQ2 変換に基づく自己教師あり学習の失敗の背後にある要因は何か。形式的に特徴づけられるか。
• RQ3 提案されたVTSS仮説は、与えられたデータセットに対してどの変換が有効であるかを予測できるか。
• RQ4 平行移動およびスケーリングに基づく新しい自己教師ありタスクは、回転に基づく手法と比較して表現の質においてどのように異なるか。
• RQ5 データ量およびクラスの多様性は、VTSSタスクのパフォーマンスにどのような影響を与えるか。

主な発見

• VTSS仮説は、変換がデータセットにすでに存在する場合に自己教師あり学習が失敗することを正確に予測しており、これは変換の競合が原因で退化した特徴が生じるためである。
• 5ピクセルのシフトを用いた平行移動ベースの自己教師あり学習は、回転のみに比べて優れており、5ピクセルを超えると効果が減少し、8ピクセルのシフトでは性能が低下する。
• スケーリングに基づく自己教師あり学習は限定的に有効であるが、CIFARデータセットに内在するスケール変動のためであると考えられ、1〜2ピクセルの変化は依然として有用である。
• 回転、平行移動、スケーリングに基づく自己教師あり学習を組み合わせると、個々の手法よりも優れたパフォーマンスが得られ、特にCIFAR-10およびSVHNで顕著である。
• VTSSを用いた自己教師ありモデルのパフォーマンスは、同じ量のラベル付きデータで学習された半教師ありモデルとほぼ同等であり、高いデータ効率性を示している。
• VTSS回転のタスクでは、5クラス（5000サンプル）で十分な性能が得られ、自己教師ありデータの増加による特徴多様性の向上に限界があることが示された。