[論文レビュー] Inferencing Based on Unsupervised Learning of Disentangled Representations

Tobias Hinz, Stefan Wermter|arXiv (Cornell University)|Mar 7, 2018

Generative Adversarial Networks and Image Synthesis参考文献 3被引用数 8

ひとこと要約

この論文では、生成器、識別器、および専用のエンコーダーを組み合わせることで、教師なしでデータの分離可能で解釈可能な表現を学習するGANベースのフレームワーク、Bidirectional-InfoGANを提案する。エンコーダーは、数字の識別子、筆圧の幅、顔貌特徴など、意味のある変動要因に実データをマッピングする。これにより、ラベルなしで推論と制御可能な画像生成が可能となり、MNISTでは数字クラス推論で96.61%の正確さを達成する。

ABSTRACT

Combining Generative Adversarial Networks (GANs) with encoders that learn to encode data points has shown promising results in learning data representations in an unsupervised way. We propose a framework that combines an encoder and a generator to learn disentangled representations which encode meaningful information about the data distribution without the need for any labels. While current approaches focus mostly on the generative aspects of GANs, our framework can be used to perform inference on both real and generated data points. Experiments on several data sets show that the encoder learns interpretable, disentangled representations which encode descriptive properties and can be used to sample images that exhibit specific characteristics.

研究の動機と目的

• ラベルなしデータから分離可能で解釈可能な表現を学習すること。
• 識別器に依存して推論を行うことの制限を解消し、意味のあるデータ要因を学習しない可能性を是正すること。
• 一貫した統合フレームワークを用いて、教師なし学習環境下で生成と推論の両方を可能にすること。
• 潜在コードにおける分離性を保ちながら、未知のデータ生成要因を発見すること。
• ラベルなしデータから学習した意味のある分離可能な特徴を用いて、下流タスクのための事前学習手法を提供すること。

提案手法

• 生成器、識別器、および専用のエンコーダーネットワークを、双方向GANフレームワークに統合する。
• 潜在コードを条件付きコード$c$（分離可能な要因用）とノイズ$z$に分割し、$c$と生成画像間の相互情報量を最大化する。
• 識別器が入力を本物または生成物として分類する adversarial 学習を実施し、エンコーダーは本物画像から生成器の入力を再構築することを目的とする。
• 生成器が画像の特定の特徴を潜在コード$c$の一部に関連付けるよう促すために、相互情報量損失を適用する。
• 生成器、エンコーダー、識別器を同時に最適化するように変更されたGAN目的関数を用い、分離可能な表現を学習する。
• 潜在コードに分離性を支持する事前分布を適用し、単純な事前分布（正規分布や一様分布）を置き換える。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーを備えたGANベースのフレームワークは、ラベルなしでデータの分離可能な表現を学習できるか？
• RQ2 エンコーダーネットワークは、数字の識別子や顔貌特徴といった実際のデータ要因に対応する解釈可能な意味のある表現を生成するか？
• RQ3 本物のデータを分離可能な潜在コードにマッピングすることで、フレームワークは信頼性のある推論を実行できるか？
• RQ4 モデルは、教師なしで未知のまたは以前にラベルが付けられていなかったデータ生成要因をどの程度発見できるか？
• RQ5 学習された表現は、分類や制御可能な画像生成といった下流タスクをどの程度効果的にサポートできるか？

主な発見

• エンコーダーはMNISTで異なる数字クラスに明確なカテゴリカルコードを割り当て、学習時にラベルを使用せずともテスト精度96.61%を達成する。
• モデルは筆圧の幅と数字の回転を連続的潜在変数に分離し、これらの特徴に基づく制御可能な画像サンプリングが可能である。
• CelebAでは、メガネ、髪の色、背景色といった解釈可能な分離可能な要因を学習し、視覚的サンプリングによって確認された。
• SVHNでは、数字の種別、背景色、画像コントラストといった分離可能な要因を同定し、データセット間での一般化を示した。
• フレームワークにより、特定の分離可能コード$c$の値に条件づけて制御可能な画像生成が可能であり、そのような特徴が明示的にラベル付けされていなくても成立する。
• InfoGANなどの教師なしベースラインを上回り、半教師あり手法と同等またはそれを上回る推論精度を達成しながら、完全に教師なしの状態を維持する。