[論文レビュー] In All Likelihood, Deep Belief Is Not Enough

Lucas Theis, Sebastian Gerwinn+2 more|arXiv (Cornell University)|Nov 28, 2010

Generative Adversarial Networks and Image Synthesis参考文献 49被引用数 28

ひとこと要約

この論文は、自然画像パッチのモデリングにおける性能の定量的評価を可能にする、計算的に扱いやすい一貫性のある推定器を提案している。この推定器を用いて、従来生物学的に妥当で効果的であると見なされていたDBNモデルが、ガウス混合モデルなどの単純なモデルに比べて実際には劣っていることを示している。最適に訓練された場合でさえ、より深いアーキテクチャが得られる利益は最小限にとどまる。

ABSTRACT

Statistical models of natural stimuli provide an important tool for researchers in the fields of machine learning and computational neuroscience. A canonical way to quantitatively assess and compare the performance of statistical models is given by the likelihood. One class of statistical models which has recently gained increasing popularity and has been applied to a variety of complex data are deep belief networks. Analyses of these models, however, have been typically limited to qualitative analyses based on samples due to the computationally intractable nature of the model likelihood. Motivated by these circumstances, the present article provides a consistent estimator for the likelihood that is both computationally tractable and simple to apply in practice. Using this estimator, a deep belief network which has been suggested for the modeling of natural image patches is quantitatively investigated and compared to other models of natural image patches. Contrary to earlier claims based on qualitative results, the results presented in this article provide evidence that the model under investigation is not a particularly good model for natural images

研究の動機と目的

• 深層信念ネットワーク（DBNs）における尤度計算の非効率性という長年の課題に取り組み、定量的なモデル評価を制限していた要因を解消すること。
• 他の統計モデルとの直接比較を可能にする、一貫性があり計算的に実行可能なDBN尤度推定器を提供すること。
• 提案された尤度推定器を用いて、自然画像パッチに訓練されたDBNの性能を実証的に評価すること。
• DBNの深さを増すことで、浅いモデルに比べて密度推定性能が顕著に向上するかどうかを調査すること。
• 質的サンプル分析に基づく、DBNが自然画像統計をモデリングする上で優れているという一般的な仮定に疑問を呈すること。

提案手法

• 分割関数と周辺分布の近似に、アニーリング重要度サンプリング（AIS）を用いた一貫性のあるDBN尤度推定器を開発する。
• 推定精度の向上を図るため、1000個の間隔のアニーリング分布と線形スケジュールを適用する。
• 訓練および評価中の近似サンプリングに、平均場更新を組み合わせたギブスサンプリングを用いる。
• 訓練の安定化を図るため、学習率と重み減衰に線形アニーリングスケジュールを適用し、モーメンタムを併用する。
• GRBMの可視ユニットの共分散をσIに固定し、σは交差検証により最適化する。
• AISを階層的に用いて、各層ごとに分割関数と周辺分布を逐次推定することで、DBN全体の尤度を評価する。

実験結果

リサーチクエスチョン

• RQ1 自然画像パッチの密度推定において、ガウス混合モデルなどの単純なモデルに比べ、深層信念ネットワーク（DBN）モデルが優れているか？
• RQ2 各層を最適に訓練した場合、DBNの深さを増すことで尤度性能にどのような影響があるか？
• RQ3 グリーディ層別事前学習手順が、密度推定におけるDBNの性能にどの程度制限を及えているか？
• RQ4 DBNの定量的モデル比較を可能にする、一貫性があり計算的に扱いやすい尤度推定器を開発できるか？
• RQ5 自然画像統計を模倣するDBNサンプルの質的成功が、統計的妥当性の十分な証拠と見なせるか？

主な発見

• 調査対象の深層信念ネットワークモデルは、尤度の観点から単純なガウス混合モデルに比べて著しく劣っており、1成分あたり約2.3ビットの対数損失を示している。
• 最適な訓練を行った後でさえ、DBNに層を追加しても尤度性能にほとんど向上が見られず、深さによる利得の逓減が顕著である。
• 2番目の層に100,000サンプル、3番目の層に1,000サンプルを用いたAISに基づく尤度推定器でさえ楽観的な推定値を示しており、評価の分散が大きいことが示唆されている。
• GRBM部は、より多くの隠れユニットとより小さい分散を用いることで改善を続けるため、より大きなアーキテクチャを採用すればさらなる性能向上が期待できる。
• 従来、成功の証拠とされてきた自然画像に類似したモデルの質的特徴は、尤度で測定される統計的性能には反映されていない。
• 結果として、DBNが自然画像統計をモデリングする上で本質的に優れているという仮定に疑問を呈し、密度推定においては単純なモデルがより効果的である可能性が示唆された。