[論文レビュー] Structural Autoencoders Improve Representations for Generation and Transfer.

Felix Leeb, Yashas Annadani+2 more|arXiv (Cornell University)|Jun 14, 2020

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 8

ひとこと要約

本論文では、自己注意機構と階層的設計を用いてエンコーダおよびデコーダのアーキテクチャを明示的に構造化することにより、表現学習を向上させる構造的オートエンコーダーを提案する。この手法は、教師なしや補助信号を必要とせず、分解能の高い因果的順序の latent 表現を学習する。その結果、多様な画像データセットにおいて生成、分解能、転移学習の性能が顕著に向上する。

ABSTRACT

We study the problem of structuring a learned representation to significantly improve performance without supervision. Unlike most methods which focus on using side information like weak supervision or defining new regularization objectives, we focus on improving the learned representation by structuring the architecture of the model. We propose a self-attention based architecture to make the encoder explicitly associate parts of the representation with parts of the input observation. Meanwhile, our structural decoder architecture encourages a hierarchical structure in the latent space, akin to structural causal models, and learns a natural ordering of the latent mechanisms. We demonstrate how these models learn a representation which improves results in a variety of downstream tasks including generation, disentanglement, and transfer using several challenging and natural image datasets.

研究の動機と目的

• 弱い教師信号や正則化に依存せず、モデルアーキテクチャの構造化によって教師なし表現学習を改善すること。
• 自己注意エンコーダーを用いて、入力観測と latent 表現の間で明示的な部品同士の関連を確立すること。
• latent 空間に階層的かつ因果的順序の構造を学習し、構造的因果モデルに類似させること。
• 生成、分解能、転移学習タスクにおける下流性能を向上させること。
• 困難な自然画像データセットにおいて、アーキテクチャの構造化の有効性を示すこと。

提案手法

• エンコーダは自己注意を用いて、入力の部分と対応する latent 表現の部分を明示的に結びつける。
• デコーダは階層的アーキテクチャを採用し、latent 要因の自然な順序を学習する。
• モデルは入力データの再構成を目的としたオートエンコーダーとして訓練され、latent 空間に構造的インダクティブバイアスを強制する。
• latent 要因同士の因果的依存関係を促進することで、構造的因果モデルを模倣するアーキテクチャを設計する。
• 弱い教師信号や外部正則化を必要とせず、アーキテクチャ設計に依存する。
• 複数の画像データセットでモデルを評価し、生成、分解能、転移学習における性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの構造化によって、教師なし条件下でも表現品質を向上させられるか？
• RQ2 入力の部分と latent の部分を結びつける自己注意エンコーダーは、より良い分解能をもたらすか？
• RQ3 階層的デコーダ構造は、latent 要因の自然な順序を学習できるか？
• RQ4 構造化された表現は、下流の生成および転移性能をどのように向上させるか？
• RQ5 この手法は多様で困難な画像データセットに一般化できるか？

主な発見

• 提案された構造的オートエンコーダーは、分解能され、因果的順序の整った表現を学習し、下流タスクの性能を向上させる。
• 弱い教師信号や正則化を一切使用せず、最先端の表現品質を達成する。
• 階層的デコーダ構造により、より優れた分解能と解釈可能な latent 要因が得られる。
• 意味的で構造的な表現を学習することで、自然画像データセットにおける生成品質が向上する。
• 構造的かつ分解能された latent 空間のおかげで、強力な転移学習性能を示す。
• 結果は複数の困難な画像データセットで一貫しており、一般化性が確認される。