[論文レビュー] Recent Advances in Autoencoder-Based Representation Learning

Michael Tschannen, Olivier Bachem+1 more|arXiv (Cornell University)|Dec 12, 2018

Domain Adaptation and Few-Shot Learning参考文献 78被引用数 359

ひとこと要約

自動エンコーダに基づく表現学習の詳細な総説で、メタプリオリを強制する三つの主要機構（後方分布の正則化、エンコード/デコードの因子分解、構造化 priors）とそれらの監視とレート-歪みのトレードオフとの関係を詳述します。

ABSTRACT

Learning useful representations with little or no supervision is a key challenge in artificial intelligence. We provide an in-depth review of recent advances in representation learning with a focus on autoencoder-based models. To organize these results we make use of meta-priors believed useful for downstream tasks, such as disentanglement and hierarchical organization of features. In particular, we uncover three main mechanisms to enforce such properties, namely (i) regularizing the (approximate or aggregate) posterior distribution, (ii) factorizing the encoding and decoding distribution, or (iii) introducing a structured prior distribution. While there are some promising results, implicit or explicit supervision remains a key enabler and all current methods use strong inductive biases and modeling assumptions. Finally, we provide an analysis of autoencoder-based representation learning through the lens of rate-distortion theory and identify a clear tradeoff between the amount of prior knowledge available about the downstream tasks, and how useful the representation is for this task.

研究の動機と目的

• 表現学習を導くメタプリオリと、オートエンコーダーベースのモデルがそれらをどのように強制するかを要約する。
• 3つの主要機構（後方分布の正則化、分布の因子化、構造化 priors）に基づいて手法を分類する。
• これらの手法と監督性レベルおよび実用的なモデリングバイアスとの関連を説明する。
• 教師なし表現のトレードオフを理解するためにレート-歪みの視点を提供する。

提案手法

• 変分オートエンコーダ（VAE）フレームワークと ELBO 目的関数を定義する。
• 機構を分類する： (i) エンコーディング/集計後方分布の正則化、(ii) エンコード/デコード分布の因子化、(iii) 柔軟な priors の使用。
• q_phi(z|x) および q_phi(z) に用いられる正則化項を説明する（例: TC, MMD, HSIC）と、それらの推定法（密度比トリック、MMD）。
• 決定論的 vs 確率的、階層的エンコーディングを含む構造化されたエンコード/デコード分布について論じる。
• 混合分布や階層的 priors などの構造化 priors と、それらがクラスタリングやディサンテングルメントを促進する方法について論じる。
• 監督付きと監督なしの設定を対比し、情報ボトルネックの視点とレート-歪みの枠組みを説明する。

実験結果

リサーチクエスチョン

• RQ1 ディスエンタングルメント、階層性、およびクラスタリングを強制するのに最も効果的な機構は何か？
• RQ2 後方分布の正則化、分布の因子分解、 priors は Bengio らが提案したメタプリオリとどう関係するか？
• RQ3 下流タスクの有用な表現を得るために監督はどのような役割を果たすか？
• RQ4 レート-歪み理論は、事前知識の量と学習表現の有用性のトレードオフをどう明らかにするか？

主な発見

• メタプリオリを強制するための3つの核心機構を特定：後方分布の正則化、エンコード/デコード分布の構造化、柔軟な priors。
• TC、MMD、HSIC、情報ボトルネックに触発された項などの正則化項は、ディサンテングルメントと独立性の促進に役立つ。
• 階層的またはグループ化された潜在変数を含む構造化エンコードは、階層的またはクラスター化された変動要因のモデリングを可能にする。
• 監督学習と暗黙の監督が依然として重要な推進力であり、強い帰納的バイアスが学習された表現を形作る。
• レート-歪みの視点は、下流タスクに関する事前知識の量と、それらのタスクに対する学習表現の有用性とのトレードオフを明らかにする。