[論文レビュー] Learning about an exponential amount of conditional distributions

Mohamed Ishmael Belghazi, Maxime Oquab+2 more|arXiv (Cornell University)|Feb 22, 2019

Adversarial Robustness in Machine Learning参考文献 41被引用数 7

ひとこと要約

本稿では、部分的に観測されたラベルなしデータから、敵対的訓練を用いて指数関数的に多くの条件付き分布を学習する自己教師あり深層学習モデル、Neural Conditioner (NC) を提案する。訓練後、NC は未学習の条件付き分布（包括的分布を含む）からのサンプリングに一般化され、分類や補完などの下流タスクにおける高品質な表現を提供する。

ABSTRACT

We introduce the Neural Conditioner (NC), a self-supervised machine able to learn about all the conditional distributions of a random vector $X$. The NC is a function $NC(x \cdot a, a, r)$ that leverages adversarial training to match each conditional distribution $P(X_r|X_a=x_a)$. After training, the NC generalizes to sample from conditional distributions never seen, including the joint distribution. The NC is also able to auto-encode examples, providing data representations useful for downstream classification tasks. In sum, the NC integrates different self-supervised tasks (each being the estimation of a conditional distribution) and levels of supervision (partially observed data) seamlessly into a single learning experience.

研究の動機と目的

• 部分的に観測されたラベルなしデータからの教師なし表現学習の課題に対処すること。
• 特定のタスクに特化した自己教師あり手法が単一の条件付き分布のみを学習することに制限されることを克服すること。
• 訓練中に見られなかった条件付き分布を含む、すべての可能な条件付き分布に一般化可能な統合フレームワークを開発すること。
• 一度に学習されたアーキテクチャを用いて、生成、表現学習、補完といった複数の下流タスクを実行できるようにすること。
• 多様なレベルの監督（例：部分的観測）を統合した、スケーラブルな学習フレームワークを構築すること。

提案手法

• Neural Conditioner (NC) は、NC(x·a, a, r) としてパラメータ化されたニューラルネットワークであり、x·a は観測値、a は利用可能な変数の集合、r は要求された変数の集合を表す。
• モデルは、予測された条件付き分布 P(X_r | X_a = x_a) が真のデータ分布と一致するように、敵対的訓練を用いる。
• 訓練目的は、利用可能変数と要求変数のすべての組み合わせにおいて、実データと生成データの間の GAN スタイルの敵対的損失を最小化することである。
• NC は、訓練中に見られなかった条件付き分布、包括的分布を含む、からのサンプリングに一般化可能である。
• モデルは、入力データを学習された条件付き分布を通じて再構成することで自己符号化を可能とし、有用な表現を生み出す。
• フレームワークは柔軟なマスキングパターンをサポートしており、利用可能変数と要求変数が補完的である必要がない。これにより、多様な自己教師あり事前学習タスクが可能となる。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークが、部分的に観測されたデータから指数関数的に多くの条件付き分布を学習できるか？
• RQ2 事前にターゲットタスクを指定せずに、敵対的訓練を用いてすべての可能な条件付き分布を同時に最適化できるか？
• RQ3 NC は、訓練中に見られなかった条件付き分布（包括的分布を含む）からのサンプリングに一般化できるか？
• RQ4 NC は、分類や補完タスクの下流タスクにおいて高品質な表現を生成できるか？
• RQ5 VAEAC などの既存の自己教師ありモデルと比較して、NC はサンプル品質と特徴の有用性において優れた性能を示すか？

主な発見

• NC は、訓練中に見られなかった条件付き分布を含め、指数関数的に多くの条件付き分布を学習し、一般化に成功している。
• モデルは、条件付き分布および包括的分布からの高品質なサンプルを生成でき、強力な生成能力を示している。
• 訓練済みの NC は、半教師あり学習の設定において、ベースライン手法を上回る優れた性能を示す、分類タスクに適した高効率なデータ表現を生成している。
• NC は、複雑でマルチモーダルなデータ分布を扱う際、特に優れた性能を示す補完タスクの実行が可能である。
• VAEベースの代替手法（例：VAEAC）と比較して、NC における敵対的訓練は、より優れたサンプル品質とより頑健な特徴をもたらしている。
• NC の統合アーキテクチャは、アーキテクチャの再設計なしに多様な自己教師あり事前学習目的をサポートでき、タスク間での柔軟な展開を可能としている。