[論文レビュー] Learning Features and their Transformations by Spatial and Temporal Spherical Clustering

Jayanta Dutta, Bonny Banerjee|arXiv (Cornell University)|Aug 10, 2013

Neural dynamics and brain function参考文献 20被引用数 5

ひとこと要約

本論文は、最初の段階で球面クラスタリングを用いて空間特徴を学習し、2番目の段階で時間的球面クラスタリングを用いて変換不変特徴を学習する、2層構造の教師なしオンラインニューラルモデルを提案する。このモデルは自然なネコカメラ映像から単純・複雑細胞に類似した受容野を学習し、時間的近接性を通じてトポグラフィックマップを形成し、学習済みの遷移確率を用いて高次予測を可能にする。パラメータは学習率としきい値の減衰パラメータの2つのみを調整する必要がある。

ABSTRACT

Learning features invariant to arbitrary transformations in the data is a requirement for any recognition system, biological or artificial. It is now widely accepted that simple cells in the primary visual cortex respond to features while the complex cells respond to features invariant to different transformations. We present a novel two-layered feedforward neural model that learns features in the first layer by spatial spherical clustering and invariance to transformations in the second layer by temporal spherical clustering. Learning occurs in an online and unsupervised manner following the Hebbian rule. When exposed to natural videos acquired by a camera mounted on a cat's head, the first and second layer neurons in our model develop simple and complex cell-like receptive field properties. The model can predict by learning lateral connections among the first layer neurons. A topographic map to their spatial features emerges by exponentially decaying the flow of activation with distance from one neuron to another in the first layer that fire in close temporal proximity, thereby minimizing the pooling length in an online manner simultaneously with feature learning.

研究の動機と目的

• 変換不変特徴学習のための生物学的に妥当で、完全に学習可能な計算モデルを人工的および生物学的認識システムに開発すること。
• 一次視覚皮質における単純・複雑細胞のペアが階層的ネットワークにおける標準的な計算ユニットとして果たす機能的役割を理解すること。
• 時間的連続性と物理的制約を用いて、事前に定義されたプーリング領域やグループスパarsityの仮定なしに、トポグラフィック特徴マップを学習すること。
• 最初の層のニューロン間の遷移確率を学習することで、モデルに予測能力を付与すること。
• ハイパーパrameterの数を2つ（学習率としきい値の減衰パラメータ）にまで削減することで、手動によるチューニングを最小限に抑えること。

提案手法

• 最初の層は、単位超球面上での空間的球面クラスタリングを用いて空間特徴を学習し、外れ値がクラスタ中心に影響を与えないようにすることで、単純細胞の受容野を模倣する。
• 2番目の層は、時間的球面クラスタリングを適用して、時間的変換に対して不変な応答を学習し、複雑細胞の性質を模倣する。
• ヘブ学習則をオンラインかつ教師なしで適用し、前後接続の活動に基づいて重みを更新する。
• 最初の層のニューロン間の側頭的接続を学習し、将来の発火パターンの予測を可能にする遷移確率を符号化する。
• 共発火するニューロン間の指数的減衰する活性化フローを通じて、トポグラフィックマップが時間的近接性に起因して自然に出現し、プーリング長が動的に最小化される。
• モデルは固定サイズの空間的および時間的受容野を用い、複雑細胞は単純細胞よりも低い周波数でサンプリングすることで、時間的シーケンスを捉える。

実験結果

リサーチクエスチョン

• RQ1 外れ値の影響を受けない球面クラスタリングを用いて、生物学的に妥当な方法で空間特徴を学習できるか？
• RQ2 2番目の層における時間的球面クラスタリングが、空間的・時間的データにおける任意の変換に対して不変性を達成できるか？
• RQ3 事前に定義されたプーリング領域やグループスパarsityの仮定なしに、オンラインで空間特徴のトポグラフィックマップを学習できるか？
• RQ4 学習済みの変換と側頭的遷移確率を組み合わせることで、モデルが将来の神経活動を予測できるか？
• RQ5 自然なネコカメラ映像で学習させた際、モデルの挙動はマカクのV1における単純細胞および複雑細胞の挙動とどの程度類似しているか？

主な発見

• 自然なネコカメラ映像で学習させた最初の層のニューロンは、マカクのV1における単純細胞の受容野に類似した受容野を発達させた。
• 2番目の層のニューロンは、複雑細胞に類似した変換不変応答を示し、シーケンス応答において方向選択性が観察された。
• モデルは、同じ時間的サンプリング間隔内で異なる長さのシーケンスを、8体のL2ニューロンがそれぞれ学習したことで、可変長の特徴シーケンスを成功裏に学習した。
• トポグラフィックマップは、時間的近接性と指数的減衰する活性化フローによって自然に出現し、明示的なプーリング領域の設計なしに実現された。
• システムのエントロピーは時間とともに減少し、自然な刺激からのオンライン学習における収束を示した。
• 複雑細胞が学習したフィードフォワード集合と側頭的遷移確率を組み合わせることで、予測精度が向上し、訓練済みシーケンスとその順列との間に、より高い活性化差が観察された。