[論文レビュー] Measuring and Understanding Sensory Representations within Deep Networks Using a Numerical Optimization Framework

Chuan-Yung Tsai, David Cox|arXiv (Cornell University)|Feb 17, 2015

Neural dynamics and brain function参考文献 77被引用数 5

ひとこと要約

本論文は、CMA-ESを用いた数値最適化フレームワークを導入し、深層畳み込みニューラルネットワーク内の感覚表現を、逐次的に個々のニューロンを最大に活性化する刺激を探索することで調査する。この手法により、事前の仮定なしに偏りのない非パrametricなチューニングランドスケープの特定が可能となり、高い統計的信頼性で、複雑で階層的な特徴選択性および不変性の性質を明らかにすることができる。

ABSTRACT

A central challenge in sensory neuroscience is describing how the activity of populations of neurons can represent useful features of the external environment. However, while neurophysiologists have long been able to record the responses of neurons in awake, behaving animals, it is another matter entirely to say what a given neuron does. A key problem is that in many sensory domains, the space of all possible stimuli that one might encounter is effectively infinite; in vision, for instance, natural scenes are combinatorially complex, and an organism will only encounter a tiny fraction of possible stimuli. As a result, even describing the response properties of sensory neurons is difficult, and investigations of neuronal functions are almost always critically limited by the number of stimuli that can be considered. In this paper, we propose a closed-loop, optimization-based experimental framework for characterizing the response properties of sensory neurons, building on past efforts in closed-loop experimental methods, and leveraging recent advances in artificial neural networks to serve as as a proving ground for our techniques. Specifically, using deep convolutional neural networks, we asked whether modern black-box optimization techniques can be used to interrogate the "tuning landscape" of an artificial neuron in a deep, nonlinear system, without imposing significant constraints on the space of stimuli under consideration. We introduce a series of measures to quantify the tuning landscapes, and show how these relate to the performances of the networks in an object recognition task. To the extent that deep convolutional neural networks increasingly serve as de facto working hypotheses for biological vision, we argue that developing a unified approach for studying both artificial and biological systems holds great potential to advance both fields together.

研究の動機と目的

• 特定の刺激空間や解析的可解性を仮定しない一般化された非パrametric的手法を、深層ニューラルネットワーク内の感覚表現を調査するための開発を目的とする。
• ブラックボックス最適化を用いて、深層畳み込みネットワーク内の人工ニューロンのチューニングランドスケープを特徴付け、従来未知の応答特性の発見を可能にする。
• 人工および生物学的ニューラルネットワーク研究を統合するための共通フレームワークを提供することで、両者を橋渡しする。
• 神経適応やスパイクのばらつきといった生物学的制約を考慮した、ノイズに対するフレームワークのロバストネスを検証する。
• データ駆動型最適化を通じて、深層ネットワークにおける表現の不変性、選択性、階層的複雑性の体系的分析を可能にする。

提案手法

• フレームワークは、勾配フリーのブラックボックス最適化アルゴリズムである共分散行列適応進化戦略（CMA-ES）を用い、深層ネットワーク内の個々のニューロンを最大に活性化する刺激を探索する。
• CMA-ESは、過去の評価に基づいて探索分布を適応的に更新する逐次的で確率的な探索を、高次元の刺激空間で実行し、最適な刺激を効率的に特定する。
• バックプロパゲーションや解析的勾配を必要としないため、微分可能または非微分可能なネットワークアーキテクチャに適用可能である。
• チューニングランドスケープは、最良の刺激の分布から導出される選択性、不変性、最適刺激の次元数などの指標によって定量化される。
• ノイズ耐性は、確率的平均化と測定再重み付けを組み込むことで実現され、生物学的条件下でも信頼性が向上する。
• 最適な刺激は可視化され、空間周波数チューニング、方向選択性、周辺抑制効果などの機能的性質を推定するために分析される。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス最適化手法は、刺激空間に関する事前の仮定なしに、非線形的かつ非解析的ネットワーク内のニューロンの最適な刺激を効果的に特定できるか？
• RQ2 深層畳み込みネットワークの階層的層を通過する中で、人工ニューロンのチューニング特性（選択性や不変性など）はどのように発現するか？
• RQ3 提案された最適化フレームワークは、従来の勾配ベース手法が見逃す可能性のある、複雑で非局所的、あるいはマルチモーダルなチューニング特徴をどれほど効果的に明らかにできるか？
• RQ4 生物学的系で観察されるノイズや変動するニューロン応答に対応できるように、このフレームワークを調整可能か？ その結果、実際のニューロンへの応用が可能になるか？
• RQ5 導出された表現指標は、物体認識や顔認識などの下流タスクにおけるネットワーク性能とどの程度相関しているか？

主な発見

• CMA-ESに基づく最適化フレームワークは、深層畝み込みニューラルネットワーク内のニューロンに対して、複雑で非自明な最適な刺激を効果的に特定し、単純なパターンから複雑なパターンへの階層的特徴選択性を明らかにした。
• この手法により、従来の勾配ベース最適化では到達できなかった、マルチモーダルなチューニングランドスケープ（非局所的解を含む）が同定された。
• 選択性や不変性といったチューニング指標は、ネットワーク性能と強く相関しており、顔ペアマッチング精度のばらつきの約70％を説明した。
• 最適な刺激では周辺抑制効果が観察され、周辺に特徴を追加すると応答が低下する傾向が見られ、生物学的受容野特性を模倣した。
• 組み込みの確率的平均化と再重み付けにより、ノイズや変動に対するロバストネスが示され、実際の生物学的ニューロンへの応用可能性が示唆された。
• 予備のレッセション実験により、事前正規化処理（例：側方抑制）が周辺抑制の生成に不可欠であることが確認され、既知の神経生理学的メカニズムと整合した。