[論文レビュー] Emergence of Complex-Like Cells in a Temporal Product Network with Local Receptive Fields

Karol Gregor, Yann LeCun|arXiv (Cornell University)|Jun 2, 2010

Neural dynamics and brain function参考文献 25被引用数 60

ひとこと要約

本稿では、動画系列から不変で複雑な細胞に類似した表現を発見するため、時間的積学習を用いた局所接続型ニューラルネットワークを提案する。スパースでコンテンツ不変な単純細胞と、位置に依存するスパースな複雑細胞を組み合わせることで、モデルは方向選択性がありピンホールに類似した受容野を自己組織化し、標準の畳み込みネットワークよりも計算コストが低く、リアルタイムの視覚認識に適した高速なフォワード推論を可能にする。

ABSTRACT

We introduce a new neural architecture and an unsupervised algorithm for learning invariant representations from temporal sequence of images. The system uses two groups of complex cells whose outputs are combined multiplicatively: one that represents the content of the image, constrained to be constant over several consecutive frames, and one that represents the precise location of features, which is allowed to vary over time but constrained to be sparse. The architecture uses an encoder to extract features, and a decoder to reconstruct the input from the features. The method was applied to patches extracted from consecutive movie frames and produces orientation and frequency selective units analogous to the complex cells in V1. An extension of the method is proposed to train a network composed of units with local receptive field spread over a large image of arbitrary size. A layer of complex cells, subject to sparsity constraints, pool feature units over overlapping local neighborhoods, which causes the feature units to organize themselves into pinwheel patterns of orientation-selective receptive fields, similar to those observed in the mammalian visual cortex. A feed-forward encoder efficiently computes the feature representation of full images.

研究の動機と目的

• 時間的画像系列から不変な視覚表現を学習する生物学的に妥当なニューラルアーキテクチャの開発。
• 乗法的プーリングを用いてコンテンツ不変および位置に依存する特徴表現を統合することで、V1における複雑細胞をモデル化すること。
• 反復的最適化を必要とせず、リアルタイム推論を可能にするフォワード推論型エンコーダ・デコーダシステムの設計。
• 局所接続型ネットワークとスパースプーリングを用いることで、畳み込みネットワークと同等の性能を達成しつつ、計算コストを低減できることの実証。
• 視覚表現学習において、畳み込みネットワークの重み共有と比較して、局所接続型重み配置がより効率的であるかどうかの検討。

提案手法

• モデルは、近隣の位置で共有されないフィルタを有する局所接続型単純細胞ネットワークを用い、不連続性のない滑らかな空間幾何を実現する。
• 予測スパース分解（PSD）エンコーダは、L1正則化を用いて再構成誤差を最小化するフォワード形式でスパースな特徴表現を計算する。
• 複雑細胞は、重複する局所的近傍における単純細胞出力を、コンテンツ不変成分と位置依存成分の乗法的結合によりプーリングすることで形成される。
• スパース制約を複雑細胞プールに適用することで、V1のものに類似した方向選択性とピンホールに類似した受容野の形成が促進される。
• 時間的積学習により、連続フレーム間でコンテンツは一定に保たれ、位置が変化するようにすることで不変性が強制される。
• デコーダは特徴から入力を再構成し、エンコーダにおける非線形回帰によりエンドツーエンド学習と効率的な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スパースプーリングを用いた局所接続型ネットワークは、V1の複雑細胞に類似した方向選択性とピンホールに類似した受容野を自己組織化できるか？
• RQ2 コンテンツ不変および位置依存の特徴の乗法的結合は、動画系列における時間的不変性をもたらすか？
• RQ3 フォワード推論型エンコーダ・デコーダアーキテクチャは、標準の畳み込みネットワークよりも計算コストを低く抑えつつ、競争力のある性能を達成できるか？
• RQ4 視覚表現学習において、畳み込みネットワークの重み共有と比較して、局所接続型重み配置はより効率的か？
• RQ5 時間的積ネットワークにおけるスパース特徴の教師なし学習により、明示的な教師信号なしに複雑細胞に類似した応答が得られるか？

主な発見

• モデルは、局所的プーリングとスパース性によって誘導され、ピンホールパターンをとる方向選択性および周波数選択性を持つユニットを効果的に生成した。
• Caltech 101でカテゴリあたり30枚の画像を用いた実験で、トップ1正解率が51%に達し、局所的前処理を施すと54%に向上し、単層畳み込みネットワークと同等の性能を示した。
• 局所接続型アーキテクチャは、類似した性能を示す標準の畳み込みネットワークと比較して、計算量の四分の一にまで削減された。これは、より高い効率性を示唆している。
• フォワード推論型エンコーダにより、反復的最適化を必要とせず、リアルタイム推論が可能となり、実用的導入が可能である。
• 近隣の位置で重みが共有されていないため、より正確なフィルタの割り当てが可能となり、冗長性が低減され、表現の効率性が向上した。
• スパース性が複雑細胞プールに与える影響により、教師なし学習からも構造的で皮質に類似した受容野が出現することを示した。