[論文レビュー] Boltzmann Machines and Denoising Autoencoders for Image Denoising

Kyunghyun Cho|arXiv (Cornell University)|Jan 15, 2013

Image and Signal Denoising Methods参考文献 18被引用数 29

ひとこと要約

この論文は、特にガウス・ベルヌーイおよびディープ・ボルツマン・マシン（DBM）が、画像のノイズ除去において自己符号化器（DAE）と同等またはそれ以上の性能を示す可能性を提案している。特に高ノイズ条件下で顕著な性能を発揮する。実験の結果、より深いモデルが性能向上をもたらし、GDBM(4)は空中写真で22.3、雑多な画像で20.2のPSNRを達成した。

ABSTRACT

Image denoising based on a probabilistic model of local image patches has been employed by various researchers, and recently a deep (denoising) autoencoder has been proposed by Burger et al. [2012] and Xie et al. [2012] as a good model for this. In this paper, we propose that another popular family of models in the field of deep learning, called Boltzmann machines, can perform image denoising as well as, or in certain cases of high level of noise, better than denoising autoencoders. We empirically evaluate the two models on three different sets of images with different types and levels of noise. Throughout the experiments we also examine the effect of the depth of the models. The experiments confirmed our claim and revealed that the performance can be improved by adding more hidden layers, especially when the level of noise is high.

研究の動機と目的

• ボルツマン・マシンが画像のノイズ除去において自己符号化器の効果的代替手段として機能するかを調査すること。
• さまざまなノイズレベルと画像タイプにおけるモデルの深さがノイズ除去性能に与える影響を評価すること。
• 盲目的な画像ノイズ除去設定において、ディープ・ボルツマン・マシンとディープ・オートエンコーダーの一般化能力と耐障害性の差を比較すること。
• 複数の潜在変数層を持つ確率的モデルが、浅いまたは単一層のモデルよりも画像のノイズ除去において優れた性能を発揮するかを評価すること。

提案手法

• エネルギーに基づくモデリングと対数尤度の最大化推定を用いて、画像パッチ上でガウス・ベルヌーイ制限ボルツマン・マシン（GRBM）およびディープ・ボルツマン・マシン（GDBM）を訓練した。
• 正確な勾配計算が困難なため、パラメータ学習にマルコフ連鎖モンテカルロ（MCMC）サンプリングを用いた変分近似を採用した。
• ガウス可視ユニットとバイナリ隠れユニットを備えた多層構造を採用し、エネルギー関数が結合確率分布を定義した。
• 事後分布推論により、ノイズのある入力に対して期待される綺麗なパッチを計算することで、訓練済みモデルを用いてテスト画像のノイズ除去を実施した。
• 白色ガウスノイズおよびソルトアンドペッパーノイズの下で、空中写真、テクスチャ、雑多な画像の3つの異なる画像データセットに対してPSNRを用いて性能を評価した。
• 訓練に使用していないデータセットにおける一般化能力を評価するため、1〜4層の隠れ層を持つモデルを比較した。

実験結果

リサーチクエスチョン

• RQ1 特にGRBMおよびGDBMを含むボルツマン・マシンは、画像のノイズ除去タスクにおいて自己符号化器と同等またはそれ以上の性能を発揮するか？
• RQ2 隠れ層の数を増やすことで、ボルツマン・マシンベースおよびオートエンコーダー基地のモデルの性能にどのような影響が生じるか？
• RQ3 ボルツマン・マシンと自己符号化器の間で、高ノイズレベルに対する耐障害性に顕著な差が生じるか？
• RQ4 ディープ・ボルツマン・マシンは、テストデータの分布に関する事前知識なしに、未観測の画像タイプにうまく一般化できるか？
• RQ5 モデルの深さが、復元出力におけるローカルな画像特徴の捉え方とグローバル構造の保持のトレードオフに影響を与えるか？

主な発見

• GDBM(4)は、0.4のソルトアンドペッパーノイズ下で空中写真で22.3、雑多な画像で20.2の最高PSNRを記録し、すべてのDAEバリアントを上回った。
• 0.4の高ノイズレベル下で、GRBMおよびGDBM(2)がDAEを上回った。これは、ボルツマン・マシンが重度の汚染に強く、より耐障害性が高いことを示している。
• 4層の隠れ層を持つより深いモデルは、すべてのデータセットで一貫して性能向上を示し、特に高ノイズ条件下で顕著だった。深さがノイズ除去能力を高めることを確認した。
• DAE(4)は空中写真で20.8、雑多な画像で20.2のPSNRを達成し、全体で2位であったが、高ノイズ環境下ではGDBM(4)に劣った。
• 視覚的評価では、BMがより繊細な画像構造を保持していた一方、DAEは特に深いアーキテクチャにおいてグローバルな画像の一貫性を強調していた。
• GRBMはパrameter数が半分のDAE(2)を上回った。これは、ボルツマンモデルにおけるより効果的な事後分布推論が、少ないパrameter数でも優れた性能をもたらす可能性を示唆している。