[論文レビュー] Neuronal Synchrony in Complex-Valued Deep Networks

David Reichert, T. Serre|arXiv (Cornell University)|Dec 20, 2013

Neural dynamics and brain function参考文献 57被引用数 43

ひとこと要約

本論文は、神経細胞の発火頻度とスパイクタイミングの位相を符号化することで、神経細胞の同期をモデル化する複素数型ディープネットワークフレームワークを提案する。これにより、分散されたオブジェクト表現の動的結合と情報のゲーティングが可能となり、特に非連続な入力において複数のオブジェクトを結合する能力や、位相を用いた表現の復号化において、ローカリスト表現を上回る、教師なし表現学習における機能的利点を示している。

ABSTRACT

Deep learning has recently led to great successes in tasks such as image recognition (e.g Krizhevsky et al., 2012). However, deep networks are still outmatched by the power and versatility of the brain, perhaps in part due to the richer neuronal computations available to cortical circuits. The challenge is to identify which neuronal mechanisms are relevant, and to find suitable abstractions to model them. Here, we show how aspects of spike timing, long hypothesized to play a crucial role in cortical information processing, could be incorporated into deep networks to build richer, versatile representations. We introduce a neural network formulation based on complex-valued neuronal units that is not only biologically meaningful but also amenable to a variety of deep learning frameworks. Here, units are attributed both a firing rate and a phase, the latter indicating properties of spike timing. We show how this formulation qualitatively captures several aspects thought to be related to neuronal synchrony, including gating of information processing and dynamic binding of distributed object representations. Focusing on the latter, we demonstrate the potential of the approach in several simple experiments. Thus, neuronal synchrony could be a flexible mechanism that fulfills multiple functional roles in deep networks.

研究の動機と目的

• 神経細胞の同期、特にスパイクタイミングが、表現学習の向上に寄与するように深層学習アーキテクチャに意味的に組み込まれるかを調査すること。
• 標準的なディープネットワークを、発火頻度と位相を複素数型ユニットで符号化することで拡張する、生物学的に妥当かつ計算的に扱いやすいフレームワークを構築すること。
• 位相に基づく同期が、入力空間上で非連続な場合でも、分散特徴の動的結合を可能にすることを示すこと。
• 同期が、ディープネットワークにおける情報フローのゲーティングメカニズムとして機能するかを検討すること。
• 本フレームワークが、固定された小規模データセットにとどまらず、複数のオブジェクトにわたる豊かで構造的な表現を教師なしで学習できることを示すこと。

提案手法

• 各ユニットの出力が、大きさ（発火頻度）と位相（他のユニットとの相対的なスパイクタイミング）を持つ複素数である複素数型神経ユニットを用いる。
• 相対的スパイクタイミングを符号化する位相ベースの活性化関数を採用し、明示的なスパイクダイナミクスを必要とせずに同期効果を実現する。
• ハイブリッド更新ルールを適用：大きさは入力の非線形関数（例：シグモイド）によって決定され、位相は総合的なシナプス後入力の偏角に設定される。
• 2つの推論手順を用いる：大きさの確率的サンプリングと、確定的割り当ての両方を、入力の位相から導出する。
• 事前学習に深層ボルツマンマシン（DBMs）を適応させ、その後、同期を組み込むために複素数型ユニットで微調整を行う。
• MNISTと合成されたバー型パターンを用いた実験により、位相ベースの復号化とオブジェクト結合の分析を通じて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 複素数型ネットワークにおける位相符号化された神経細胞の同期は、異なるオブジェクトを表す分散特徴の動的結合を可能にするか？
• RQ2 位相によるスパイクタイミングの組み込みが、単に発火頻度に基づくモデルと比較して、情報処理をどのように改善するか？
• RQ3 本ネットワークは、複数の非連続なオブジェクト、さらには部分-全体関係を含むものに対しても、一般化して結合可能か？
• RQ4 隠れユニットの位相が、オブジェクト識別に関する意味のある情報を保持しており、分散表現から復号可能か？
• RQ5 MNISTのような多様なデータセットと、固定された小規模なパターンセットで学習した場合、ネットワークの挙動にどのような違いが生じるか？

主な発見

• 複素数型ネットワークは、1つの入力内に複数の非連続なオブジェクトを効果的に結合でき、位相同期が分散特徴の整合的表現を可能にしていることを示した。
• 隠れ表現の位相ベースの復号化は高い正確性を達成し、相対的位相パターンからオブジェクト識別を推定できることを示した。
• 本ネットワークは、固定された小規模データセットにとどまらず、数千枚のMNIST画像から複数のオブジェクトを学習して結合できる。これは、従来の限られた学習セットに依存する手法とは対照的である。
• 本モデルは動的結合と情報ゲーティングの両方をサポートしており、位相がユニット間の有効な結合性を調整している。
• 反復処理において位相の割り当てが安定しており、絶対位相に依存しないことが確認された。これは、相対的タイミングの重要性を裏付けている。
• 実数型の事前学習から複素数型の推論への移行が成功しており、標準的なディープラーニングパイプラインと互換性があることが示された。