[論文レビュー] Dictionary Learning by Dynamical Neural Networks

Tsung-Han Lin, Ping Tang|arXiv (Cornell University)|May 23, 2018

Neural Networks and Applications参考文献 32被引用数 5

ひとこと要約

本稿では、スパikingニューロンと上位からのフィードバックを用いた動的ニューラルネットワークを提案し、$ε_1$-最小化辞書学習問題を、正確に計算可能な勾配を保証する形で解く。ネットワークを通常状態と摂動状態の2通りの設定で走らせることで、状態の差分を用いて局所的に勾配を計算し、グローバルな誤差逆伝播を回避しつつ、局所情報のみに依存したエンドツーエンド学習を実現。重みの一貫性を維持し、標準的な数値的手法と同等の性能を達成する。

ABSTRACT

A dynamical neural network consists of a set of interconnected neurons that interact over time continuously. It can exhibit computational properties in the sense that the dynamical system's evolution and/or limit points in the associated state space can correspond to numerical solutions to certain mathematical optimization or learning problems. Such a computational system is particularly attractive in that it can be mapped to a massively parallel computer architecture for power and throughput efficiency, especially if each neuron can rely solely on local information (i.e., local memory). Deriving gradients from the dynamical network's various states while conforming to this last constraint, however, is challenging. We show that by combining ideas of top-down feedback and contrastive learning, a dynamical network for solving the l1-minimizing dictionary learning problem can be constructed, and the true gradients for learning are provably computable by individual neurons. Using spiking neurons to construct our dynamical network, we present a learning process, its rigorous mathematical analysis, and numerical results on several dictionary learning problems.

研究の動機と目的

• 局所的情報のみを用いて、スパースコーディングのための辞書を学習する動的ニューラルネットワークを開発すること。
• グローバルな誤差逆伝播を回避する形で、各ニューロンが局所的なデータにのみ依存する勾配計算を、辞書学習に適用できるようにすること。
• 新規なネットワークトポロジーと学習ルールを用いて、前向接続と横方向接続の間でグローバルな重みの一貫性を維持すること。
• 2つのネットワーク設定（通常と摂動あり）の限界状態の差が、最適化のための真の勾配をもたらすことを示すこと。
• MNIST や Lena といった実データセットを用いた実験により、収束がガボール関数に類似した受容野や数字の部分に類似した受容野を学習できることを示すこと。

提案手法

• ネットワークは、非有界な ReLU活性化関数を備えたスパキングニューロンモデルを用い、前向（F）および横方向（W）の重みが $ W = -D^T D + I $ によって関連付けられる特殊なトポロジーを持つ。
• 2段階の訓練手順を採用：通常状態と摂動状態の2つの段階で、異なる初期条件のもとでネットワークが限界点へ収束するようにする。
• 2つの段階における限界状態の差が、辞書学習の目的関数の勾配を含んでいることが示された。
• コントラスト学習の原則を用いて学習ルールを導出。ボルツマンマシンに類似し、2状態間のKL発散を最小化する。
• グローバルな誤差逆伝播を回避するため、局所的な状態情報とフィードバック信号にのみ依存する局所的勾配計算を実現。
• 理論的分析により、計算された勾配が正確であることが証明され、ネットワークが $ε_1$-正則化目的関数を最小化する解へ収束することが示された。

実験結果

リサーチクエスチョン

• RQ1 局所的情報のみを用いる動的ニューラルネットワークが、辞書学習の真の勾配を計算できるか？
• RQ2 局所的に学習するネットワークにおいて、前向接続と横方向接続の間で重みの一貫性をどのように維持できるか？
• RQ3 2つのネットワーク設定（通常と摂動あり）の限界状態の差が、最適化の正しい勾配をもたらすか？
• RQ4 提案手法が、標準的な数値的辞書学習アルゴリズムと同等の性能を達成できるか？
• RQ5 スパキングニューロンとフィードバックのみを用いた局所的ダイナミクスで、自然画像データから意味のあるガボール関数に類似した、または数字の部分に類似した受容野を学習できるか？

主な発見

• Lena、MNIST、SparseNet データセットから、ネットワークは正しく辞書を学習した。可視化されたフィルタは、エッジ、テクスチャ、ガボール関数に類似したパターンを示し、従来の手法と類似した特徴を示した。
• 学習済み辞書を用いた画像ノイズ除去では、ノイズのある Lena 画像に対して PSNR が 29.31 dB に向上し、入力の 18.69 dB と比較して顕著な改善を示した。
• 平均して、1つの 8×8 画像パッチはたった 5.9 個の非ゼロスパース係数で表現された。これは強いスパarsityを示している。
• 理論的分析により、通常状態と摂動状態の限界状態の差が、辞書学習目的関数の正確な勾配をもたらすことが証明された。
• グローバルな誤差逆伝播や共有メモリに依存せず、エンドツーエンドで局所的かつ証明可能な正しい学習が可能である。
• 本手法はスパキングニューロンと連続値ニューロンの両方と互換性があり、2つのモデル間で類似したダイナミクス的対応関係が示された。