[論文レビュー] AVT: Unsupervised Learning of Transformation Equivariant Representations by Autoencoding Variational Transformations

Guo-Jun Qi, Liheng Zhang+2 more|arXiv (Cornell University)|Mar 23, 2019

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 5

ひとこと要約

本稿では、変換と画像表現の間の相互情報量を変分推論を用いて最大化することで、変換同値性を有する特徴を学習する、新しい非教師あり表現学習手法AVTを提案する。不確実な事後分布を近似する変換デコーダーを導入することで、AVTは先行する非教師ありモデルを上回り、ImageNetおよびPlacesデータセットにおいて、教師ありベースラインとの性能差を11%以上縮めている。

ABSTRACT

The learning of Transformation-Equivariant Representations (TERs), which is introduced by Hinton et al. \cite{hinton2011transforming}, has been considered as a principle to reveal visual structures under various transformations. It contains the celebrated Convolutional Neural Networks (CNNs) as a special case that only equivary to the translations. In contrast, we seek to train TERs for a generic class of transformations and train them in an {\em unsupervised} fashion. To this end, we present a novel principled method by Autoencoding Variational Transformations (AVT), compared with the conventional approach to autoencoding data. Formally, given transformed images, the AVT seeks to train the networks by maximizing the mutual information between the transformations and representations. This ensures the resultant TERs of individual images contain the {\em intrinsic} information about their visual structures that would equivary {\em extricably} under various transformations in a generalized {\em nonlinear} case. Technically, we show that the resultant optimization problem can be efficiently solved by maximizing a variational lower-bound of the mutual information. This variational approach introduces a transformation decoder to approximate the intractable posterior of transformations, resulting in an autoencoding architecture with a pair of the representation encoder and the transformation decoder. Experiments demonstrate the proposed AVT model sets a new record for the performances on unsupervised tasks, greatly closing the performance gap to the supervised models.

研究の動機と目的

• 翻訳同値性を超えて任意の変換に一般化可能な非教師あり表現学習フレームワークの開発。
• 情報理論を用いて、変換と表現の間の相互情報量を用いて変換同値性を形式化する学習目的の定式化。
• 直接的な相互情報量最大化の不確実性を解消するため、変換デコーダーを用いた変分下界の導入。
• 画像再構成の詳細への過剰適合を避けるために、内在的な視覚的構造を保持しつつ、変換の再構成を可能にする表現の学習。
• 標準ベンチマークにおいて、非教師ありと教師あり表現学習の性能差を縮めること。

提案手法

• AVTは、変換と画像表現の間の相互情報量を最大化することで表現学習を定式化し、一般化された変換クラスに対して同値性を保証する。
• 表現から与えられた変換の不確実な事後分布を近似するための変分下界を導入し、微分可能な学習を可能にする。
• 二重ストリームアーキテクチャを採用：表現エンコーダーが変換済み画像を処理し、変換デコーダーが表現から変換を再構成する。
• 変分下界を最適化することで、モデルはエンドツーエンドに訓練され、表現が変換再構成に必要な情報のみを保持するよう促される。
• このアプローチは、データ再構成の強い仮定を避ける代わりに、変換予測に最小限かつ情報豊富な表現を学習することに焦点を当てる。
• 情報理論的原則を活用することで、線形変換同値性ネットワークを非線形変換に一般化する。

実験結果

リサーチクエスチョン

• RQ1 変換と表現の間の相互情報量最大化が、一般化された変換同値性特徴の効果的な非教師あり学習を可能にするか？
• RQ2 深層学習フレームワーク内で、不確実な相互情報量最大化問題を効率的に近似する方法は何か？
• RQ3 画像ではなく変換の再構成を学習することで、より優れた、より一般化可能な表現が得られるか？
• RQ4 このような表現学習手法が、下流タスクにおける教師ありモデルとの性能差をどの程度縮められるか？
• RQ5 提案手法は、平行移動性を超えて、ねじれや射影変換などの複雑な非線形変換に対しても一般化可能か？

主な発見

• ImageNetでは、AVTはConv5でTop-1精度22.3%を達成し、前回のSOTAであるAET-projectを1.5%上回り、完全に教師ありの上限との差をわずか5.5%にまで縮めた。
• CIFAR-10では、AVTはConv5で線形分類器を用いてTop-1精度44.4%を達成し、前回のSOTAであるAET-projectを3.1%上回った。
• Placesデータセットでは、AVTはConv5でTop-1精度35.6%を達成し、非教師ありモデルの中で2位となり、前回の非教師あり手法を著しく上回った。
• 複数の層（Conv1からConv5まで）にわたり一貫した性能向上が見られ、学習された特徴の堅牢性と一般化能力を示している。
• AVTは、Conv4で前回のSOTA比15%、Conv5で11%の性能差の縮小を達成しており、強力な一般化能力を示している。
• アブレーション実験では、AVTがデータ再構成に基づくオートエンコーダーと比較して、よりコンactかつ情報豊富な表現を学習していることが明らかになった。