[논문 리뷰] Measuring and Understanding Sensory Representations within Deep Networks Using a Numerical Optimization Framework

Chuan-Yung Tsai, David Cox|arXiv (Cornell University)|2015. 02. 17.

Neural dynamics and brain function참고 문헌 77인용 수 5

한 줄 요약

이 논문은 깊이 있는 합성곱 신경망 내의 감각 표현을 탐색하기 위해 CMA-ES를 사용하는 수치 최적화 프레임워크를 제안한다. 이 방법은 각 신경망의 단일 뉴런을 최대한 활성화시키는 刺자물을 반복적으로 탐색함으로써, 사전 가정 없이 비모수적이고 편향 없는 방식으로 조율 경계를 특성화한다. 이로 인해 고도로 통계적으로 신뢰할 수 있는 복잡한 계층적 특징 선택성과 불변성 특성을 가진 인공 뉴런의 특성들이 드러났다.

ABSTRACT

A central challenge in sensory neuroscience is describing how the activity of populations of neurons can represent useful features of the external environment. However, while neurophysiologists have long been able to record the responses of neurons in awake, behaving animals, it is another matter entirely to say what a given neuron does. A key problem is that in many sensory domains, the space of all possible stimuli that one might encounter is effectively infinite; in vision, for instance, natural scenes are combinatorially complex, and an organism will only encounter a tiny fraction of possible stimuli. As a result, even describing the response properties of sensory neurons is difficult, and investigations of neuronal functions are almost always critically limited by the number of stimuli that can be considered. In this paper, we propose a closed-loop, optimization-based experimental framework for characterizing the response properties of sensory neurons, building on past efforts in closed-loop experimental methods, and leveraging recent advances in artificial neural networks to serve as as a proving ground for our techniques. Specifically, using deep convolutional neural networks, we asked whether modern black-box optimization techniques can be used to interrogate the "tuning landscape" of an artificial neuron in a deep, nonlinear system, without imposing significant constraints on the space of stimuli under consideration. We introduce a series of measures to quantify the tuning landscapes, and show how these relate to the performances of the networks in an object recognition task. To the extent that deep convolutional neural networks increasingly serve as de facto working hypotheses for biological vision, we argue that developing a unified approach for studying both artificial and biological systems holds great potential to advance both fields together.

연구 동기 및 목표

• 특정 자극 공간이나 해석 가능성을 전제로 하지 않고, 깊이 있는 신경망 내 감각 표현을 탐색하기 위한 일반적이고 비모수적 방법을 개발한다.
• 블랙박스 최적화를 통해 깊이 있는 합성곱 신경망 내 인공 뉴런의 조율 경계를 특성화함으로써, 이전에 알려지지 않은 반응 특성을 발견한다.
• 인공 및 생물학적 신경망 연구를 연결하기 위해, 인공 및 실제 신경망 시스템에 모두 적용 가능한 통합 프레임워크를 제공한다.
• 신경망 적응 및 스파iking 변동성과 같은 생물학적 제약 조건을 고려하여, 프레임워크의 노이즈에 대한 강건성을 검증한다.
• 데이터 기반 최적화를 통해 깊이 있는 네트워크 내 표현 불변성, 선택성, 계층적 복잡성의 체계적 연구를 가능하게 한다.

제안 방법

• 프레임워크는 유도 없는 블랙박스 최적화 알고리즘인 공분산 행렬 적응 진화 전략(Covariance Matrix Adaptation Evolution Strategy, CMA-ES)을 사용하여 깊이 있는 네트워크 내 개별 뉴런을 최대한 활성화시키는 자극을 탐색한다.
• CMA-ES는 고차원 자극 공간에서 반복적이고 확률적인 탐색을 수행하며, 과거 평가 결과에 기반해 탐색 분포를 적응시켜 최적의 자극을 효율적으로 탐지한다.
• 이 방법은 역전파나 해석적 기울기를 필요로 하지 않아, 미분 가능하거나 불가능한 모든 아키텍처에 적용 가능하다.
• 조율 경계는 최상위 성능을 보인 자극들의 분포로부터 유도된 선택성, 불변성, 최적 자극의 차원수 등의 측도를 통해 정량화된다.
• 스토캐스틱 평균화와 측정 재가중을 통해 노이즈에 대한 강건성을 확보하여 생물학적으로 유사한 조건에서도 신뢰도를 높인다.
• 최적 자극은 시각화 및 분석을 통해 공간 주파수 조율, 방향 선택성, 둘레 억제 효과 등의 기능적 특성을 유추한다.

실험 결과

연구 질문

• RQ1 블랙박스 최적화 방법은 자극 공간에 대한 사전 가정 없이, 비선형적이며 해석이 불가능한 깊이 있는 네트워크 내 뉴런의 최적 자극을 효과적으로 식별할 수 있는가?
• RQ2 깊이 있는 합성곱 신경망의 계층적 레이어를 거쳐가며 인공 뉴런의 조율 특성(선택성 및 불변성 등)은 어떻게 형성되는가?
• RQ3 제안된 최적화 프레임워크는 전통적인 기울기 기반 방법이 놓칠 수 있는 복잡한 비국소적 또는 다중 모달 조율 특징을 어느 정도 드러낼 수 있는가?
• RQ4 생물학적 시스템에서 관찰되는 노이즈 또는 변동성이 있는 뉴런 반응을 처리할 수 있도록 프레임워크를 어떻게 적응시킬 수 있는가? 이를 통해 실제 뉴런에 적용할 수 있는가?
• RQ5 유도된 표현 측도는 객체 인식이나 얼굴 매칭과 같은 후행 작업에서의 네트워크 성능과 어느 정도 상관이 있는가?

주요 결과

• CMA-ES 기반 최적화 프레임워크는 깊이 있는 합성곱 신경망 내 뉴런에 대해 복잡하고 비자명한 최적 자극을 성공적으로 식별하였으며, 단순한 패턴에서 복잡한 패턴으로 이르는 계층적 특징 선택성을 드러냈다.
• 이 방법은 기존의 표준 기울기 기반 최적화로는 접근할 수 없었던, 다중 모달 조율 경계와 비국소적 해를 포함한 복잡한 조율 특성을 발견하였다.
• 선택성 및 불변성과 같은 조율 측도는 네트워크 성능과 강한 상관관계를 보였으며, 얼굴 쌍 매칭 정확도의 약 70% 분산을 설명하였다.
• 최적 자극에서 둘레 억제 효과가 관찰되었으며, 주변에 특징가 추가될수록 반응이 감소하는 경향을 보여 생물학적 수용 영역 특성과 유사하였다.
• 스토캐스틱 평균화 및 재가중 기능을 통해 노이즈 및 변동성에 대한 강건성을 입증하였으며, 실제 생물학적 뉴런에의 적용 가능성도 시사하였다.
• 초기 손상 실험 결과, 사전 정규화 조치(예: 측면 억제)가 둘레 억제를 생성하는 데 핵심적임을 확인하였으며, 이는 알려진 신경생리학적 메커니즘과 일치하였다.