[論文レビュー] Phase Transitions in Image Denoising via Sparsely Coding Convolutional Neural Networks

Jacob Carroll, N. W. Carlson+1 more|arXiv (Cornell University)|Oct 26, 2017

Theoretical and Computational Physics参考文献 2被引用数 4

ひとこと要約

本稿は、画像ノイズ除去の過程においてスパースに符号化する畳み込みニューラルネットワークに連続的相転移が存在することを特定し、有限サイズスケーリングを用いて再構成誤差とスパarsityのべき乗則的挙動を示した。ネットワークを臨界スパarsity点にチューニングすることで、あらゆるシステムサイズでノイズ除去性能が最適化され、臨界性駆動設計により最小再構成誤差が達成される。

ABSTRACT

Neural networks are analogous in many ways to spin glasses, systems which are known for their rich set of dynamics and equally complex phase diagrams. We apply well-known techniques in the study of spin glasses to a convolutional sparsely encoding neural network and observe power law finite-size scaling behavior in the sparsity and reconstruction error as the network denoises 32$ imes$32 RGB CIFAR-10 images. This finite-size scaling indicates the presence of a continuous phase transition at a critical value of this sparsity. By using the power law scaling relations inherent to finite-size scaling, we can determine the optimal value of sparsity for any network size by tuning the system to the critical point and operate the system at the minimum denoising error.

研究の動機と目的

• スパースに符号化する畳み込みニューラルネットワークが画像ノイズ除去の過程で相転移を示すかどうかを調査すること。
• 再構成誤差とスパarsityにおける有限サイズスケーリング行動が、連続的（第二種）相転移を示しているかどうかを特定すること。
• あらゆるネットワークサイズでノイズ除去誤差を最小化する臨界スパarsity点を同定すること。
• 有限サイズスケーリングから得られる臨界指数を活用し、任意のネットワークサイズにおける最適スパarsityを予測すること。

提案手法

• PetaVisionを用いてスパースに符号化する畳み込みニューラルネットワークを構築し、CIFAR-10画像を局所的競争的アルゴリズム（LCA）で学習した。
• 高斯ノイズで汚染された32×32 RGB画像を再構成するため、スパースに符号化する畳み込み層を備えたノイズ除去ネットワークを用いた。
• 正則化パラメータλを変化させることで、隠れ層内の活性ニューロンの割合を制御し、活性ニューロンのスパarsityを調整した。
• 複数のネットワークサイズ（システムサイズL）における平均パcent再構成誤差（P_err）および活性ニューロンの割合を測定した。
• 最小値の位置と高さの両方のスケーリングを解析するため、有限サイズスケーリング分析を適用し、P_errの最小値を特定した。
• スケーリング行動に臨界指数ν̄ = 1.32 ± 0.04およびγ̄ = 0.0099 ± 0.0095をフィットさせ、連続的相転移の確認が得られた。

実験結果

リサーチクエスチョン

• RQ1 スパースに符号化する畳み込みニューラルネットワークにおける再構成誤差は、ネットワークサイズの関数として有限サイズスケーリングを示すか？
• RQ2 ノイズ除去誤差が最小値に達する臨界スパarsityレベルが存在し、それが相転移を示すか？
• RQ3 誤差最小値の位置と高さが、システムサイズに伴いべき乗則的スケーリングを示すか？これは連続的相転移と整合的か？
• RQ4 有限サイズスケーリングから得られる臨界指数を用いて、任意のネットワークサイズにおける最適スパarsityを予測できるか？

主な発見

• スパースに符号化する畳み込みネットワークのノイズ除去性能には、スパarsityを変化させることで連続的（第二種）相転移が存在する。
• 最小再構成誤差はシステムサイズに伴いべき乗則的スケーリングを示し、有限サイズスケーリング則（式1および式2）を満たす。
• 最小誤差の位置に対する臨界指数ν̄ = 1.32 ± 0.04が測定され、臨界点がシステムサイズに応じてシフトすることを示した。
• 最小誤差の高さに対する臨界指数γ̄ = 0.0099 ± 0.0095が測定され、臨界点で特異的挙動が確認された。
• べき乗則的スケーリングのおかげで、臨界点にチューニングすることで任意のネットワークサイズにおける最適スパarsityを予測可能である。
• ネットワークを臨界スパarsityで動作させることで、あらゆるシステムサイズで最小ノイズ除去誤差が保証され、ユニバーサル最適化が可能になる。