[論文レビュー] AET vs. AED: Unsupervised Representation Learning by Auto-Encoding Transformations rather than Data

Liheng Zhang, Guo-Jun Qi+2 more|arXiv (Cornell University)|Jan 14, 2019

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 50

ひとこと要約

本論文は Auto-Encoding Transformations (AET) を提案します。これはエンコードされた特徴量から画像の変換を予測する教師なし表現学習パラダイムで、CIFAR-10、ImageNet、Places で監視付き手法に迫る最先端の結果を達成します。

ABSTRACT

The success of deep neural networks often relies on a large amount of labeled examples, which can be difficult to obtain in many real scenarios. To address this challenge, unsupervised methods are strongly preferred for training neural networks without using any labeled data. In this paper, we present a novel paradigm of unsupervised representation learning by Auto-Encoding Transformation (AET) in contrast to the conventional Auto-Encoding Data (AED) approach. Given a randomly sampled transformation, AET seeks to predict it merely from the encoded features as accurately as possible at the output end. The idea is the following: as long as the unsupervised features successfully encode the essential information about the visual structures of original and transformed images, the transformation can be well predicted. We will show that this AET paradigm allows us to instantiate a large variety of transformations, from parameterized, to non-parameterized and GAN-induced ones. Our experiments show that AET greatly improves over existing unsupervised approaches, setting new state-of-the-art performances being greatly closer to the upper bounds by their fully supervised counterparts on CIFAR-10, ImageNet and Places datasets.

研究の動機と目的

• ラベル付きデータが不足している場合の教師なし表現学習の動機付け。
• データを再構成するのではなく、入力変換を予測することで特徴量を学習するAETを提案する。
• AET が広範な変換のサポートを提供し、強力な実証結果をもたらすことを示す。

提案手法

• AET を定式化する。エンコーダ E と変換デコーダ D を学習し、E(x) と E(t(x)) からサンプルされた変換 t を予測する。
• 真の変換と推定値との間の損失 ell(t, t_hat) を最小化する。t_hat = D(E(x), E(t(x))).
• パラメータ化された変換（例: アフィン、射影）とGAN誘導または非パラメトリックな派生を用いてAETを実装する。
• 原像と変換像をエンコードするために重みを共有する二つのブランチを用い、変換をデコードするために特徴を連結する。
• ミニバッチでSGDを用いてエンドツーエンドに訓練し、バックプロパゲーションでEとDを更新する。

実験結果

リサーチクエスチョン

• RQ1 学習された特徴から変換をデコードし、画像を変換した後にデコードすることは、データ再構成よりも良い教師なし表現を生み出すか。
• RQ2 どのクラスの変換（パラメータ化されたもの、GAN誘導、非パラメトリックなもの）が情報量の多い特徴の学習を最も促進するか。
• RQ3 AET は CIFAR-10、ImageNet、Places における最先端の教師なし手法と比べてどうか。
• RQ4 予測された変換の損失は教師あり分類性能と相関するか。

主な発見

• AET-project（射影変換）は CIFAR-10 で conv 分類器を用いて 7.82% の誤差を達成し、完全教師ありの 7.2% に近い。
• AET 手法は CIFAR-10 において RotNet および他の教師なしベースラインを、FC と conv 分類器および KNN 評価のいずれでも上回る。
• ImageNet では AET-project がいくつかの教師なし手法を上回り、上限の教師あり性能との差を縮める（Conv4 および Conv5 設定でギャップの縮小が報告されている）。
• AET 表現は変換予測損失と教師あり精度の整合性がより高く、AET目的の有効性を裏付ける。
• AET は ImageNet で事前学習し、線形/ロジスティック分類器で評価した場合 Places への転移でも競争力のある結果を示す。
• 実験は広範な変換を組み込むことができ、パラメータ化された変換が素直で公平な比較を提供することを示す。