[論文レビュー] On denoising autoencoders trained to minimise binary cross-entropy

Antonia Creswell, Kai Arulkumaran+1 more|arXiv (Cornell University)|Aug 28, 2017

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 63

ひとこと要約

本論文は、二値交差エントロピーで訓練されたデノイジングオートエンコーダー（DAE）がデータ密度の勾配を近似できることを示し、勾配に基づくデータ空間の移動を高い尤度領域へ導き、ノイズからの新規サンプル生成や他の生成モデルからのサンプル改善を可能にする。

ABSTRACT

Denoising autoencoders (DAEs) are powerful deep learning models used for feature extraction, data generation and network pre-training. DAEs consist of an encoder and decoder which may be trained simultaneously to minimise a loss (function) between an input and the reconstruction of a corrupted version of the input. There are two common loss functions used for training autoencoders, these include the mean-squared error (MSE) and the binary cross-entropy (BCE). When training autoencoders on image data a natural choice of loss function is BCE, since pixel values may be normalised to take values in [0,1] and the decoder model may be designed to generate samples that take values in (0,1). We show theoretically that DAEs trained to minimise BCE may be used to take gradient steps in the data space towards regions of high probability under the data-generating distribution. Previously this had only been shown for DAEs trained using MSE. As a consequence of the theory, iterative application of a trained DAE moves a data sample from regions of low probability to regions of higher probability under the data-generating distribution. Firstly, we validate the theory by showing that novel data samples, consistent with the training data, may be synthesised when the initial data samples are random noise. Secondly, we motivate the theory by showing that initial data samples synthesised via other methods may be improved via iterative application of a trained DAE to those initial samples.

研究の動機と目的

• 再構成損失で訓練された DAE がデータ生成分布と関連する理論を動機づけ、拡張する。
• BCE ベースの DAEs が log p(x) の勾配を近似し、データ空間での勾配上昇を誘発することを示す。
• ランダムノイズからの実践的なサンプリングと、生成オートエンコーダのサンプルの改善を実証する。
• デノイジング基準を用いて、変分オートエンコーダと敵対的オートエンコーダのサンプルを改善するために理論を適用する。

提案手法

• デノイジングオートエンコーダの BCE ベースの再構成目的を導出し、BCE の下での最適再構成関数を導出する（データ空間での勾配へとつながる）。
• 極限において BCE で訓練された DAE が log 密度の勾配を近似することを証明し、MSE で訓練された DAE に類似する。
• CelebA データ上で VAE および AAE のデノイズ化変種を訓練し、加法的ガウシアンノイズをかける。
• 訓練済みの再構成関数を用いて、ノイズからデータ様サンプルへの反復サンプリングを実証する。
• 反復適用が DVAE および DAAE によって生成されたサンプルを改善できることを示す。

実験結果

リサーチクエスチョン

• RQ1 BCE で訓練された DAE はデータに対するデータ生成分布の勾配を近似できるか？
• RQ2 BCE 訓練済みデノイジングオートエンコーダの反復適用は、データ分布の高確率領域へサンプルを移動させるか？
• RQ3 BCE ベースの DAEs は DVAE や DAAE のような生成モデルのサンプル品質を改善できるか？
• RQ4 ランダムノイズから BCE-DAEs を用いて、訓練データと一致する新規データサンプルを合成することは可能か？
• RQ5 このようなモデルからのサンプリングを支援する実践的な指針や手法（ノイズ拡張など）は何か？

主な発見

• BCE 損失は、データの尤度をより高くする勾配上昇ステップに対応する極限を持つ再構成関数を生み出します。
• ランダムノイズから訓練済み BCE-DAE を反復適用することで、訓練データと一致する新規サンプルを生成できます。
• このサンプリング手法は、 DVAE および DAAE モデルから得られた初期サンプルを改善できます。
• 反復の間に小さなノイズを加えるとデータ空間を滑らかにし、高密度領域への移行を助けることができます。
• このアプローチは、訓練済み BCE-DAE を生成演算子として適用することで、再訓練なしにサンプルを改善する道を提供します。