[論文レビュー] Predicting distributions with Linearizing Belief Networks

Yann Dauphin, David Grangier|arXiv (Cornell University)|Nov 17, 2015

Image and Signal Denoising Methods参考文献 24被引用数 9

ひとこと要約

この論文は、深層線形パスを制御する乗法的バイナリゲーティングユニットを用いる新しい確率的ニューラルネットワーク、Linearizing Belief Networks (LBNs) を導入する。LBNs は、効率的な学習と連続的条件付き分布のユニバーサル近似を可能にし、画像ノイズ除去において最先端のPSNRスコアを達成するとともに、モンテカルロサンプリングによりシャープで多様性のある出力を生成する。

ABSTRACT

Conditional belief networks introduce stochastic binary variables in neural networks. Contrary to a classical neural network, a belief network can predict more than the expected value of the output $Y$ given the input $X$. It can predict a distribution of outputs $Y$ which is useful when an input can admit multiple outputs whose average is not necessarily a valid answer. Such networks are particularly relevant to inverse problems such as image prediction for denoising, or text to speech. However, traditional sigmoid belief networks are hard to train and are not suited to continuous problems. This work introduces a new family of networks called linearizing belief nets or LBNs. A LBN decomposes into a deep linear network where each linear unit can be turned on or off by non-deterministic binary latent units. It is a universal approximator of real-valued conditional distributions and can be trained using gradient descent. Moreover, the linear pathways efficiently propagate continuous information and they act as multiplicative skip-connections that help optimization by removing gradient diffusion. This yields a model which trains efficiently and improves the state-of-the-art on image denoising and facial expression generation with the Toronto faces dataset.

研究の動機と目的

• 従来のニューラルネットワークが、特に画像ノイズ除去のような不適切に定式化された逆問題において、多モードの連続的分布をモデル化する能力に制限を受けることに対処する。
• 従来のシグモイド信念ネットワーク (SBNs) において、確率的ユニットと決定的ユニットとの間の加法的相互作用に起因する学習の不安定性と勾配の流れの問題を克服する。
• 混合モデルの表現力と深層線形ネットワークの学習効率、勾配ベース最適化を組み合わせたモデルを開発する。
• 滑らかで連続的な出力予測を可能にし、勾配の流れを改善する乗法的スキップ接続をサポートする確率的ゲーティングを実現する。
• 原理的で微分可能な学習アプローチを用いて、画像ノイズ除去および顔の感情表現生成タスクで最先端の性能を示す。

提案手法

• LBNs は、各線形ユニットが非決定的バイナリ潜在ゲートによって条件付きに活性化される深層線形ネットワークに分解され、線形モデルの混合を可能にする。
• バイナリ確率的ゲートと決定的線形ユニットとの乗法的相互作用により、勾配拡散を回避しつつ、非決定的な区分線形関数を学習可能である。
• 確率的ゲートは乗法的スキップ接続として機能し、連続的な情報の流れを維持し、深層アーキテクチャにおける勾配消失を低減する。
• モデルは、ログリクアリティのモンテカルロ近似を用いた最尤推定により学習され、再パラメータ化またはストレートスルーエスティメーターを介した確率的ゲートを介したバックプロパゲーションが行われる。
• ゲーティングを介した指数的サイズのサブネットワークの組み合わせにより、任意の実数値の条件付き分布 p(Y|X) のユニバーサル近似が可能である。
• 従来のSBNsが直面する高分散勾配問題を回避するため、乗法的結合により確率的ユニットと決定的ユニットを分離する。

実験結果

リサーチクエスチョン

• RQ1 確率的バイナリユニットを備えた信念ネットワークは、深層学習における複雑で多モードの連続的分布を効果的にモデル化できるか？
• RQ2 確率的ゲーティングをどのように構造化すれば、深層ネットワークにおける効率的なバックプロパゲーションと安定した学習を実現できるか？
• RQ3 確率的ユニットと決定的ユニットとの間の乗法的相互作用は、加法的相互作用に比べて勾配の流れを改善できるか？
• RQ4 LBNアーキテクチャは、画像ノイズ除去や顔の感情表現生成といった逆問題で最先端の性能を達成できるか？
• RQ5 LBNからのモンテカルロサンプリングにより、平均予測モデルのぼんやりとした出力を避ける高品質で多様性のある出力を生成できるか？

主な発見

• LBNs は、標準的なテスト画像において、BM3D、GSM、FoE、K-SVD、LSSC などの既存手法を上回る、σ=100 の条件下で最先端のPSNRを達成した。
• σ=100 のBarbara画像において、LBN は 23.22 dB のPSNRを達成し、BM3D (23.62 dB) や他の手法を上回り、視覚的にシャープでより自然なノイズ除去出力を得た。
• σ=25 の条件下では、平均PSNRが 30.70 dB に達し、BM3D (30.4 dB) をわずかに上回り、低ノイズ状況でも優れた性能を示した。
• 視覚的検証により、K=10 のサンプリングにおいてLBNが多様で妥当なノイズ除去画像バリアントを生成していることが確認され、出力分布の効果的なモデル化が示された。
• 顔の感情表現生成において、代替の信念ネットワークと比較して、収束が早く、一般化性能も優れており、最適化と表現能力の向上が裏付けられた。
• 強力な結果にもかかわらず、期待値のモンテカルロ推定は、非常に多モーダルな分布に対しては不十分であり、重要度サンプリングや敵対的訓練などの改善されたサンプリング戦略の導入が求められる。