[논문 리뷰] Controlled-rearing studies of newborn chicks and deep neural networks

Donsuk Lee, Pranav Gujarathi외 1명|arXiv (Cornell University)|2021. 12. 12.

Primate Behavior and EcologyPsychology인용 수 19

한 줄 요약

이 연구는 뉴런의 시각적 학습을 새로운 알을 부화시킨 메추리와 딥 컨volution 네트워크(CNN) 간에 평행한 통제된 기르기 실험을 통해 직접 비교한다. 메추리의 시각적 환경를 그대로 모의하기 위해 비디오 게임 엔진을 사용해 동일한 시각적 자료를 생성함으로써, CNN이 메추리가 빠르게 학습할 수 있는 희소한 데이터로도 시점에 관계없이 물체를 인식할 수 있음을 입증하며, CNN이 본질적으로 '데이터에 과도하게 의존한다'는 견해에 도전한다.

ABSTRACT

Convolutional neural networks (CNNs) can now achieve human-level performance on challenging object recognition tasks. CNNs are also the leading quantitative models in terms of predicting neural and behavioral responses in visual recognition tasks. However, there is a widely accepted critique of CNN models: unlike newborn animals, which learn rapidly and efficiently, CNNs are thought to be "data hungry," requiring massive amounts of training data to develop accurate models for object recognition. This critique challenges the promise of using CNNs as models of visual development. Here, we directly examined whether CNNs are more data hungry than newborn animals by performing parallel controlled-rearing experiments on newborn chicks and CNNs. We raised newborn chicks in strictly controlled visual environments, then simulated the training data available in that environment by constructing a virtual animal chamber in a video game engine. We recorded the visual images acquired by an agent moving through the virtual chamber and used those images to train CNNs. When CNNs received similar visual training data as chicks, the CNNs successfully solved the same challenging view-invariant object recognition tasks as the chicks. Thus, the CNNs were not more data hungry than animals: both CNNs and chicks successfully developed robust object models from training data of a single object.

연구 동기 및 목표

• 딥 컨volution 네트워크(CNN)가 새로운 알을 부화시킨 동물들보다 진정으로 '데이터에 과도하게 의존하는가'를 시점에 관계없는 물체 인식 측면에서 테스트하는 것.
• 동일한 제한된 시각 입력으로 훈련되었을 때 CNN이 새로운 알을 부화시킨 메추리와 유사한 학습 효율성을 달성할 수 있는지 조사하는 것.
• 비디오 게임 엔진을 사용해 메추리의 시각 경험을 시뮬레이션하는 계산 모델을 개발하여 실제 세계의 훈련 자료를 CNN에 제공하는 것.
• 훈련 자료와 시험 프로토콜을 일치시켜 생물학적 및 인공 시각 시스템 간에 직접적이고 공정한 비교를 가능하게 하는 것.
• CNN이 실제 세계의 감각 자료로 훈련되었을 때 동물의 초기 시각 발달을 신경 기계학적으로 설명할 수 있는 유효한 모델이 될 수 있는지 평가하는 것.

제안 방법

• 단일 물체가 있는 가상 환경에서 새로운 알을 부화시킨 메추리를 대상으로 통제된 기르기 실험을 실시하고, 시점에 관계없는 물체 인식 작업에서의 성능을 측정하였다.
• 비디오 게임 엔진을 사용해 메추리의 시각 환경를 시뮬레이션하는 가상의 동물 침대를 구축하고, 움직이는 에이전트의 시점에서의 시각 궤적을 기록하였다.
• 가상 침대를 통해 에이전트의 이동으로부터 얻은 원시 시각 이미지를 수집하고 처리하여 CNN의 훈련 데이터셋을 제작하였다.
• 감독 학습 및 비감독 학습 CNN을 시뮬레이션된 훈련 자료로 훈련하였으며, 효과적인 샘플 수를 늘리기 위해 데이터 증강을 적용하였다.
• 선형 판별 분석(LDA)을 사용해 특징 표현을 시각화하고, 다양한 모델 간의 표현 유사도를 평가하였다.
• 메추리와 CNN이 동일한 물체 인식 작업을 수행하도록 테스트하여 학습 성능 및 일반화 능력의 직접적 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 새로운 알을 부화시킨 메추리가 빠르게 학습할 수 있는 동일한 최소한의 시각 자료로 훈련되었을 때, 딥 컨volution 네트워크(CNN)가 시점에 관계없는 물체 인식을 달성할 수 있는가?
• RQ2 단일 물체 환경에서의 시각 훈련 자료의 양과 질이 메추리와 CNN 간의 학습 효율성 측면에서 어떻게 비교되는가?
• RQ3 CNN이 초기 시각 발달 과정에서 관찰된 생물학적 시스템의 표현 및 행동 결과를 어느 정도 재현하는가?
• RQ4 데이터 증강과 능동적 탐색이 생물학적 및 인공 시각 시스템의 데이터 요구량을 줄이는 데 어떤 역할을 하는가?
• RQ5 실제 세계 유사 감각 자료로 훈련되었을 때 CNN이 동물의 초기 시각 발달을 신경 기계학적으로 설명할 수 있는 유효한 모델이 될 수 있는가?

주요 결과

• 새로운 알을 부화시킨 메추리가 기르는 동일한 통제된 기르기 환경를 가상 에이전트가 이동하면서 수집한 시각 자료로 훈련된 CNN은 동일한 시점에 관계없는 물체 인식 작업을 성공적으로 해결하였다.
• 메추리와 CNN은 단일 물체에 노출된 후 강력한, 시점에 관계없는 물체 표현을 개발하였으며, 이는 유사한 학습 효율성을 나타낸다.
• 데이터 증강을 통해 CNN의 효과적 훈련 이미지 수가 크게 증가하여, 메추리가 24시간 내에 약 864,000개의 훈련 샘플을 확보하는 것과 유사한 데이터 부담을 갖게 되었다.
• 표현 이질성 행렬(RDM) 분석 결과, CNN이 생물학적 시스템에서 관찰된 것과 유사한 구조의 특징 표현을 개발한 것으로 나타났다.
• 이 연구는 CNN이 본질적으로 '데이터에 과도하게 의존한다'는 널리 퍼진 믿음을 도전하며, 일치된 훈련 자료를 사용할 경우 생물학적 동물만큼 효율적으로 작동함을 보여주었다.
• 결과는 CNN이 이미지 계산 가능하고 신경 기계학적으로 설명 가능한 초기 시각 발달 모델로 사용될 수 있음을 지지하며, 발달 이론의 검증 및 반증을 위한 프레임워크를 제공한다.