[논문 리뷰] Cognitive Deficit of Deep Learning in Numerosity

Xiaolin Wu, Xi Zhang외 1명|arXiv (Cornell University)|2018. 02. 09.

Cognitive and developmental aspects of mathematical skills인용 수 3

한 줄 요약

이 논문은 종단간 딥러닝(DL)이 끝없이 작은 수의 물체를 즉시 인지할 수 있는 인간 같은 '서브타이징'(subitizing) 능력을 달성할 수 있는지 조사한다. 강력한 감독 하에서도 표준 딥 컨volution 네트워크는 크기, 형태, 색상 등의 시각적 변형에 대해 일반화하지 못한다. 반면, 형태학적 연산(침식, 연결성 분석, 세기)을 명시적으로 통합한 순환 컨volution 신경망은 인간이 유도한 인지 전제 조건을 활용하여 성공적으로 서브타이징을 수행한다. 이는 딥러닝의 인지적 결함이 아키텍처의 문제보다 최적화의 한계에서 기인한다는 것을 보여준다.

ABSTRACT

Subitizing, or the sense of small natural numbers, is an innate cognitive function of humans and primates; it responds to visual stimuli prior to the development of any symbolic skills, language or arithmetic. Given successes of deep learning (DL) in tasks of visual intelligence and given the primitivity of number sense, a tantalizing question is whether DL can comprehend numbers and perform subitizing. But somewhat disappointingly, extensive experiments of the type of cognitive psychology demonstrate that the examples-driven black box DL cannot see through superficial variations in visual representations and distill the abstract notion of natural number, a task that children perform with high accuracy and confidence. The failure is apparently due to the learning method not the CNN computational machinery itself. A recurrent neural network capable of subitizing does exist, which we construct by encoding a mechanism of mathematical morphology into the CNN convolutional kernels. Also, we investigate, using subitizing as a test bed, the ways to aid the black box DL by cognitive priors derived from human insight. Our findings are mixed and interesting, pointing to both cognitive deficit of pure DL, and some measured successes of boosting DL by predetermined cognitive implements. This case study of DL in cognitive computing is meaningful for visual numerosity represents a minimum level of human intelligence.

연구 동기 및 목표

• 종단간 딥러닝이 다양한 형태, 크기, 색상의 시각적 자극에서 자연수의 추상적 개념을 시각적 수량 인지로 학습할 수 있는지 테스트하는 것.
• 데이터 기반 딥러닝이 통계적 추론을 넘어서 인지적 추상화를 달성하는 데에 겪는 한계를 조사하는 것.
• 형태학적 연산과 같은 인간이 유도한 인지 전제 조건을 통합함으로써 딥러닝 모델이 서브타이징을 수행할 수 있는지 탐색하는 것.
• 정확한 아키텍처를 가졌음에도 불구하고 표준 역전파 알고리즘이 결정론적 서브타이징 네트워크를 학습시키지 못하는 이유를 분석하는 것.
• 서브타이징을 기본 인지 기능으로 분해함으로써 시각적 변형에 일반화 가능한 모듈러형, 신경인지적으로 영감을 받은 딥러닝 시스템을 개발하는 것.

제안 방법

• 서브타이징을 위해 형태학적 연산(침식, 연결성 유지)을 명시적으로 통합한 $3\times3$ 컨volution 커널을 갖춘 순환 컨volution 신경망(RCNN)을 설계하였다.
• 서브타이징을 세 부분의 하위넷으로 분해: 침식(형태학적 원자), 연결성 분석, 세기 — 각각 별도로 학습하였다.
• 연결성 유지 감소를 안정적으로 학습하기 위해 침식 하위넷에 잔차 블록과 ReLU 활성화 함수를 사용하였다.
• 학습된 하위넷을 연결하여 완전한 서브타이징 시스템을 구성한 모듈러형 딥 컨볼루션 네트워크(DCNN)를 구축하였으며, 이는 i.i.d. 데이터를 초월한 일반화를 가능하게 하였다.
• 랜덤 및 지능형 가중치 초기화를 사용한 RCNN의 경사하강법 학습을 탐색하였으며, 최적 해 근처에서 불연속적인 손실 함수로 인해 수렴하지 못함을 확인하였다.
• RCNN을 생물학적으로 영감을 받은 아키텍처로 간주하였으며, 복수의 침식을 반복하는 핵심 연산으로서의 순환 침식을 사용하였다.

실험 결과

연구 질문

• RQ1 다양한 형태, 크기, 색상의 시각적 자극에서 종단간 딥러닝과 표준 역전파 알고리즘이 자연수의 추상적 개념을 학습할 수 있는가?
• RQ2 강력한 감독과 고품질 훈련 데이터를 가졌음에도 불구하고 딥러닝이 서브타이징 작업에서 일반화에 실패하는 이유는 무엇인가?
• RQ3 형태학적 연산과 같은 인간이 유도한 인지 원천을 통합함으로써 딥러닝 모델이 결정론적 서브타이징을 달성할 수 있는가?
• RQ4 정확한 아키텍처를 가졌음에도 불구하고 알려진 최적 커널을 갖춘 사전 구조화된 RCNN을 학습시킬 때 경사하강법이 수렴하지 않는 이유는 무엇인가?
• RQ5 딥러닝이 사전 존재하는 인지 구성요소를 얼마나 통합함으로써 서브타이징과 같은 인지 기능을 달성할 수 있는가?

주요 결과

• 강력한 감독 하에서도 표준 딥 컨volution 네트워크는 크기, 형태, 색상, 방향성의 변형에 대해 일반화가 불량하여 서브타이징에 실패한다.
• 이 실패는 훈련 데이터의 통계적 패tern에 과도하게 의존함으로써 시나리오의 의미를 파악하지 못함에 기인하며, 순수한 데이터 기반 학습의 근본적인 인지적 결함을 시사한다.
• 형태학적으로 인코딩된 커널을 갖춘 순환 컨volution 네트워크는 시각적 변형에서 수를 추상화함으로써 결정론적 서브타이징을 성공적으로 수행한다. 이는 인간의 통찰이 안내될 경우 아키텍처가 충분히 능력을 지닌다는 것을 증명한다.
• 지능형 초기화를 사용함에도 불구하고, 최적 해 근처에서 매우 불연속적인 손실 함수로 인해 RCNN의 경사하강법 학습이 수렴하지 못한다. 이는 정수 프로그래밍과 유사하다.
• 서브타이징을 침식, 연결성 분석, 세기의 세 가지 하위 기능으로 분해함으로써 별도의 학습과 모듈러 조합이 가능해졌으며, 이는 일반화 가능한 서브타이징 시스템을 도출하였다.
• 모듈러 접근의 성공은 딥러닝이 엔드 투 엔드 학습만으로는 인지적 추상화를 달성할 수 없으며, 사전 존재하는 인지 전제 조건이 통합되어야만 가능하다는 것을 입증한다.