[論文レビュー] View-tolerant face recognition and Hebbian learning imply mirror-symmetric neural tuning to head orientation

Joel Z. Leibo, Qianli Liao+3 more|arXiv (Cornell University)|Jun 5, 2016

Face Recognition and Perception被引用数 8

ひとこと要約

この論文は、階層的ニューラルネットワークにおける生物学的に妥当なヒブス学習則が、中間層において頭部の向きに対するミラー対称的チューニングを自然に生成することを示している。これは、領域ALにおける霊長類の顔処理ニューロンの主要な特徴を説明する。このメカニズムは、反射群 G = {e, R} による対称的顔の軌道を学習することで生じる。その結果、共分散行列の主成分が偶関数または奇関数となり、視認性に依存しない顔認識に不可欠なミラー対称的応答が得られる。

ABSTRACT

The primate brain contains a hierarchy of visual areas, dubbed the ventral stream, which rapidly computes object representations that are both specific for object identity and relatively robust against identity-preserving transformations like depth-rotations. Current computational models of object recognition, including recent deep learning networks, generate these properties through a hierarchy of alternating selectivity-increasing filtering and tolerance-increasing pooling operations, similar to simple-complex cells operations. While simulations of these models recapitulate the ventral stream's progression from early view-specific to late view-tolerant representations, they fail to generate the most salient property of the intermediate representation for faces found in the brain: mirror-symmetric tuning of the neural population to head orientation. Here we prove that a class of hierarchical architectures and a broad set of biologically plausible learning rules can provide approximate invariance at the top level of the network. While most of the learning rules do not yield mirror-symmetry in the mid-level representations, we characterize a specific biologically-plausible Hebb-type learning rule that is guaranteed to generate mirror-symmetric tuning to faces tuning at intermediate levels of the architecture.

研究の動機と目的

• 頭部の向きに対するミラー対称的チューニングが、特に領域ALでなぜ発現するのかを説明すること。
• このミラー対称性が、視認性に依存しない顔認識への必須の中間段階として生成されるための、学習則とアーキテクチャ的条件を特定すること。
• 特定の学習則が、生物学的神経表現を再現できることを示し、階層的ディープラーニングモデルと神経生理学的発見の間のギャップを埋めること。
• ヒブス学習が対称的顔の軌道データに対して適用されると、固有関数が本質的に偶関数または奇関数となり、ミラー対称的チューニングが生じることを実証すること。

提案手法

• 視認性に依存しない表現へと進化する腹側ストリームをモデル化するため、交互にフィルタリングとプーリングを行う階層的ディープ畳み込みネットワークアーキテクチャを用いる。
• 顔画像データセットを、反射群 G = {e, R} による軌道（正面、左斜め、右斜めのプロファイル）として学習させ、生物学的に妥当なヒブス学習則（特にオーヤの法則）を適用する。
• 数学的に証明する。この学習設定下では、入力共分散行列の主成分（固有関数）は反射に関して偶関数または奇関数でなければならない。その結果、ミラー対称的ニューロン応答が生じる。
• PCAとICAベースの特徴抽出を用いて理論を実証的に検証。PCA（対称性を保持）はミラー対称的応答を示すが、ICAは示さない。
• 群共分散下での重み更新ダイナミクスを分析。学習則が反射群に関して等長的であることを証明し、学習された表現における対称性が保たれることを示す。
• 共分散行列の対称性（C(X) が反射 R と可換）の理論的分析により、共通の固有関数は偶関数または奇関数でなければならないことを示し、データ構造とニューロンチューニングの直接的関連を立証する。

実験結果

リサーチクエスチョン

• RQ1 なぜ霊長類の脳は、MLなどの初期領域にそのようなチューニングがないにもかかわらず、領域ALで頭部の向きに対するミラー対称的チューニングを生成するのか？
• RQ2 階層的ニューラルネットワーク内で、どのような特定の学習則が、ミラー対称的チューニングを顕在的性質として生成できるのか？
• RQ3 訓練データの構造、特に反射下での対称的軌道の存在が、ミラー対称的表現の出現をどのように可能にするのか？
• RQ4 なぜ標準的なディープラーニングモデルでさえ、視認性に依存しない顔認識を達成しても、ミラー対称的チューニングを再現できないのか？
• RQ5 ヒブス学習のような生物学的に妥当な学習則が、同時に視認性に依存しない顔認識とミラー対称性を生成できるのか？

主な発見

• 反射対称性（G = {e, R}）の下で顔画像の軌道を形成するデータに対して、ヒブス学習則（特にオーヤの法則）を適用すると、主成分が本質的に偶関数または奇関数となり、ミラー対称的ニューロンチューニングが生じる。
• 訓練データの共分散行列は反射演算子 R と可換であり、その固有関数も R の固有関数でなければならない。その結果、偶関数または奇関数である。
• この主成分の対称性が、マカクの顔処理ネットワーク領域ALで実験的に観察されたミラー対称的チューニングを直接説明する。
• 実証的結果から、PCAベースの特徴抽出はミラー対称性を保持するが、ICAベースの抽出は保持しない。これは、対称的データ構造が対称的表現の生成に果たす役割を確認する。
• 理論的分析により、学習則の重み更新ダイナミクスが反射群に関して等長的であることが証明され、学習過程を通じて対称性が保たれることを示した。
• 本研究は、対称的データ軌道とヒブス学習の組み合わせという、特定のメカニズムを同定し、標準的なディープラーニングモデルでは捉えきれない重要な神経生理学的特徴（ミラー対称的チューニング）を説明した。