[論文レビュー] On the exact relationship between the denoising function and the data distribution

Heikki Arponen, Matti Herranen+1 more|arXiv (Cornell University)|Sep 6, 2017

NMR spectroscopy and applications参考文献 3被引用数 3

ひとこと要約

この論文は、加法的ガウスノイズ下での最適ノイズ除去関数とデータ分布の間の正確で可逆な関係を確立し、ノイズ除去関数が破損データ分布のスコア関数と数学的に同等であることを示している。主な貢献は、従来は小さなノイズの極限でのみ有効であった結果を、任意のノイズレベルに一般化し、ノイズ除去がロジスティック密度の勾配を通じてデータ多様体の完全な構造を暗黙的にモデル化することを証明している。

ABSTRACT

We prove an exact relationship between the optimal denoising function and the data distribution in the case of additive Gaussian noise, showing that denoising implicitly models the structure of data allowing it to be exploited in the unsupervised learning of representations. This result generalizes a known relationship [2], which is valid only in the limit of small corruption noise.

研究の動機と目的

• 加法的ガウスノイズ下での最適ノイズ除去関数と元のデータ分布の間の正確で明確な数学的関係を確立すること。
• 従来は小さな汚損ノイズの極限でのみ有効であった理論的結果を、任意のノイズレベルに一般化すること。
• ノイズ除去学習が、破損データ分布のスコア関数をモデル化することで、データ多様体の完全な構造を暗黙的に捉えていることを示すこと。
• ノイズ除去関数がデータ分布を復元できるように逆写像可能であることを示し、正確な表現学習を可能にすること。
• ドメインのノイズ除去オートエンコーダーを原理的で一貫した非教師付き表現学習手法として用いる理論的基盤を構築すること。

提案手法

• 最小二乗誤差（MMSE）推定器としての最適ノイズ除去関数を導出する。その式は $ g^*(\tilde{x}) = \mathbb{E}[x|\tilde{x}] $ で与えられる。
• ベイズの定理を用いて、事前分布 $ p(x) $ と汚損の尤度 $ p(\tilde{x}|x) $ を用いて条件付き期待値を表現する。
• 加法的ガウスノイズ $ \tilde{x} = x + \sigma_n \epsilon $（$ \epsilon \sim \mathcal{N}(0,I) $）の具体的な形を適用し、正確な関係を導出する。
• 継続的入力と破損観測の間の関係を結ぶ重要な恒等式 $ x p(\tilde{x}|x) = \tilde{x} p(\tilde{x}|x) + \sigma_n^2 \nabla_{\tilde{x}} p(\tilde{x}|x) $ を導出する。
• この恒等式を $ x $ について周辺化することで、$ g^*(\tilde{x}) = \tilde{x} + \sigma_n^2 \nabla_{\tilde{x}} \log p(\tilde{x}) $ を示し、ここで $ p(\tilde{x}) $ は破損データ分布を表す。
• コーシーの積分定理を用いた輪郭積分により、この関係が可逆であることを示し、$ g^* $ から $ p(\tilde{x}) $ を復元可能であり、結果としてデコンボリューションにより $ p(x) $ も復元可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 加法的ガウスノイズ下での最適ノイズ除去関数とデータ分布の正確な数学的関係は何か？
• RQ2 この関係は、従来は小さなノイズの極限でのみ有効であった結果をどのように一般化するか？
• RQ3 ノイズ除去関数を用いて、その多様体構造を含む完全なデータ分布を復元できるか？
• RQ4 ノイズ除去関数とデータ分布の間の写像は可逆的か？
• RQ5 深層学習における表現学習手法としてノイズ除去を用いる理論的根拠は何か？

主な発見

• 最適ノイズ除去関数は正確に $ g^*(\tilde{x}) = \tilde{x} + \sigma_n^2 \nabla_{\tilde{x}} \log p(\tilde{x}) $ で与えられ、ここで $ p(\tilde{x}) $ は破損データ分布を表す。
• この結果は、従来の小さなノイズ近似 $ g^*(\tilde{x}) = \tilde{x} + \sigma_n^2 \nabla_{\tilde{x}} \log p_X(\tilde{x}) + o(\sigma_n^2) $ を任意のノイズレベルに一般化したものである。
• ノイズ除去関数とデータ分布の間の関係は可逆である：$ p(\tilde{x}) $ は $ g^* $ から輪郭積分により復元可能である。
• ノイズ除去関数は、破損分布のスコア関数を通じて、データ多様体の完全な構造を符号化している。
• 写像 $ p(x) \longleftrightarrow p(\tilde{x}) \longleftrightarrow g^*(\tilde{x}) $ は正確かつ可逆であり、ノイズ除去がデータ分布の完全な構造を学習していることを証明する。
• この結果は、標準的回帰とは異なり、ノイズ除去オートエンコーダーが単なる条件付き期待値を超えて、複雑なデータ構造を学習できることを示している。