[論文レビュー] Learning to Generate Samples from Noise through Infusion Training

Florian Bordes, Sina Honari+1 more|arXiv (Cornell University)|Mar 20, 2017

Music and Audio Processing被引用数 11

ひとこと要約

本論文は、ターゲットデータ分布に一致する高品質なサンプルへと段階的にノイズを除去するためのマーキョフ連鎖遷移作用素を学習する、新規なトレーニング手法「インフュージョントレーニング」を提案する。トレーニングチェーンにターゲットデータの例を組み込むことで、モデルは少ないステップで多様で高精細なサンプルを生成するよう学習する。この手法により、ベースラインのGANと比較して競争力のあるインceptionスコアと優れたサンプル品質を達成した。

ABSTRACT

In this work, we investigate a novel training procedure to learn a generative model as the transition operator of a Markov chain, such that, when applied repeatedly on an unstructured random noise sample, it will denoise it into a sample that matches the target distribution from the training set. The novel training procedure to learn this progressive denoising operation involves sampling from a slightly different chain than the model chain used for generation in the absence of a denoising target. In the training chain we infuse information from the training target example that we would like the chains to reach with a high probability. The thus learned transition operator is able to produce quality and varied samples in a small number of steps. Experiments show competitive results compared to the samples generated with a basic Generative Adversarial Net

研究の動機と目的

• ランダムノイズを段階的なノイズ除去によって現実的なサンプルに変換する生成モデルを構築すること。
• 高次元データに対して順序に依存する任意の順序付けに依存する自己回帰モデルの限界を克服すること。
• 訓練に2つのネットワークを必要とし、モード崩壊や訓練不安定性に悩まされる標準的なGANと比較して、サンプルの品質と多様性を向上させること。
• 潜在空間のボトル neck を回避する直接的な入力空間遷移作用素を学習することで、効率的かつ高速なサンプリングを可能にすること。
• 学習中に望ましいデータポイントに導くために、ターゲットインフィュージョンに基づく新しいトレーニング目的を検討すること。

提案手法

• モデルはTステップのマーキョフ連鎖を通じて、入力ノイズをデータ分布に従うサンプルに写像する確率的遷移作用素を学習する。
• 本手法では、実際のトレーニングデータポイントからの情報を注入することで、トレーニングチェーンをバイアスする新規な「ターゲットインフィュージョン」技術を採用する。
• トレーニング中、特定のステップでターゲットデータポイントが組み込まれた変更されたチェーンにモデルがさらされ、その結果、チェーンがそのターゲットに収束するよう促される。
• 推論プロセスでは、学習済みの遷移作用素のみを用い、ファクターリアルノイズ入力を繰り返し適用することでサンプルを生成する。
• 敵対的訓練を回避するため、ノイズ除去性能に基づくヒューリスティックな代替損失関数を用い、実証的根拠として対数尤度の増加が観察された。
• 本手法は、MNIST、CelebA、CIFAR-10、Toronto Face Datasetを用いて、インセプションスコア、視覚的品質、インpaintingタスクの観点から評価された。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークが、学習されたマーキョフ連鎖を通じてランダムノイズを段階的にノイズ除去することで、高品質かつ多様なサンプルを生成できるか？
• RQ2 トレーニング中にターゲットインフィュージョンを適用することで、標準的な拡散法やGANベース手法と比較して、サンプル品質と収束速度が向上するか？
• RQ3 敵対的モデル（GANなど）と比較して、本手法はサンプル品質と訓練安定性において優れているか？
• RQ4 部分的な入力が与えられた条件付き生成タスク（例：インpainting）にも一般化可能か？
• RQ5 ヒューリスティック損失を用いながらも、インフュージョントレーニング手順により対数尤度推定値が有意義に向上するか？

主な発見

• CIFAR-10におけるインセプションスコアは、インフレーションなしの非教師ありベースライン（-L）の4.36 ± 0.06、半教師ありベースライン（SP）の8.09 ± 0.07を上回る4.62 ± 0.06を達成した。
• 生成されたサンプルはシャープで多様であり、生成サンプルとその最も近いトレーニングデータの類似度を比較した結果、トレーニングデータの記憶の兆候は一切認められなかった。
• インpainting実験では、欠損領域に対して多様で整合性のある補完を生成でき、入力の部分的な情報と整合的であった。
• Sohl-Dicksteinらの拡散ベース手法と比較して、ノイズ除去ステップ数が少なく、収束が速く、1ステップあたりのサンプル品質が優れていた。
• ディスクライマーを必要とせず、訓練不安定性を回避する一方で、GANと同等の結果を達成した。
• 下界に基づくインフュージョントレーニングは、ヒューリスティック損失と同等の結果をもたらし、ロバスト性と理論的拡張の可能性を示唆した。