[論文レビュー] Distribution Estimation to Automate Transformation Policies for Self-Supervision

Seunghan Yang, Debasmit Das+3 more|arXiv (Cornell University)|Nov 24, 2021

Cell Image Analysis Techniques参考文献 40被引用数 4

ひとこと要約

本論文では、自己教師あり学習（SSL）のための補完的変換を自動で生成するGANベースのフレームワークを提案する。データセットに存在する視覚的変換の分布を敵対的学習によって推定し、その補数からサンプリングすることで、有効な事前学習タスクを生成する。この方法により、下流の表現学習が向上し、MNIST、SVHN、CIFAR-10、CIFAR-100を含む複数のベンチマークで最先端の性能を達成した。

ABSTRACT

In recent visual self-supervision works, an imitated classification objective, called pretext task, is established by assigning labels to transformed or augmented input images. The goal of pretext can be predicting what transformations are applied to the image. However, it is observed that image transformations already present in the dataset might be less effective in learning such self-supervised representations. Building on this observation, we propose a framework based on generative adversarial network to automatically find the transformations which are not present in the input dataset and thus effective for the self-supervised learning. This automated policy allows to estimate the transformation distribution of a dataset and also construct its complementary distribution from which training pairs are sampled for the pretext task. We evaluated our framework using several visual recognition datasets to show the efficacy of our automated transformation policy.

研究の動機と目的

• 手動設計なしで自己教師あり学習（SSL）のための有効な視覚的変換ポリシーを選択する課題に対処すること。
• 先行研究が示すように、データセットに既に存在する変換は事前学習タスクとしてあまり効果的でない可能性があるため、それらを同定すること。
• データセットに存在しない補数的変換分布を自動で生成し、より効果的なSSLの事前学習タスクを可能にすること。
• 推定された分布から導かれる変換ポリシーが、手動またはランダム選択と比較して下流性能に優れていることを実証的に検証すること。

提案手法

• 生成的敵対ネットワーク（GAN）フレームワークを用い、既知の事前分布（例：正規分布）からデータの変換分布へのマッピングを学習することで、データセットに存在する視覚的変換の分布を推定する。
• マッピングネットワークは敵対的損失を用いて訓練され、その出力である変換パラメータのヒストグラムが、データセット内の変換の経験的分布と一致するようにする。
• 推定された分布を反転させることで補数的分布を構築し、データにすでに存在しない変換をサンプリング可能にする。
• フレームワークは補数的分布から変換インスタンスを生成し、回転予測やインスタンス識別などのSSLのための有効な事前学習タスクを定義する。
• 標準的なSSLベンチマーク（RotNetやVTSSなど）を用いて評価し、手動選択と自動選択の比較を含むアブレーションスタディを実施する。
• 対照的学習（SimCLR）への応用では、自動変換ポリシーを用いてポジティブなオーグメンテーションを生成し、クロスドメインデータセットにおける微調整性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 与えられたデータセットにすでに存在する視覚的変換の分布を自動で推定する方法は何か？
• RQ2 データセットの固有の変換分布に対して補数的となる変換インスタンスを効果的に生成する方法は何か？
• RQ3 自動で生成された補数的変換を用いることで、手動選択やランダムサンプリングと比較して、より優れた自己教師あり表現が得られるか？
• RQ4 下流性能の観点から、本手法の自動変換ポリシーはRotNet や VTSS といった既存手法と比較してどのように差がつくか？
• RQ5 提案手法は、ラベル付きデータが限られた対照的学習の設定でも性能向上をもたらすか？

主な発見

• FMNISTでは93.22%の精度を達成し、同じ設定でRotNet（91.94%）とVTSS（92.18%）を上回った。
• SVHNでは94.75%の精度を達成し、RotNet（91.29%）とVTSS（91.72%）を顕著に上回った。
• CIFAR-10ではVTSS（89.58%）と同等の性能を示したが、制御されたベースライン比較では87.01%を達成し、堅牢性を示した。
• CIFAR-100では64.00%の精度を達成し、フル比較ではVTSS（64.87%）をわずかに上回り、ベースライン比較では62.48%を記録した。
• クロスドメインデータセットにおける対照的学習では、自動変換ポリシー（ATP）がChestXで42.33%の精度を達成し、Baseline（41.16%）、Rot.（38.24%）、Aff.（40.65%）を上回った。
• 結果から、変換選択がSSL性能に顕著な影響を及ぼすことが確認され、ランダムまたは手動選択よりも、データ駆動型の自動ポリシー学習が優れた表現をもたらすことが示された。