[논문 리뷰] Two Is Harder To Recognize Than Tom: the Challenge of Visual Numerosity for Deep Learning

Xiaolin Wu, Xi Zhang외 1명|arXiv (Cornell University)|2018. 02. 09.

Cognitive and developmental aspects of mathematical skills참고 문헌 35인용 수 1

한 줄 요약

이 논문은 강력한 지도 학습 조건 하에서도 딥 컨volution 신경망(DCNNs)이 시각적 수량 인지—집합 내 항목의 수를 인지하는 능력—를 학습할 수 있는지 조사한다. 작은 수의 다양한 시각적 표현이 존재하더라도 DCNNs는 표면적인 시각적 변형을 초월해 일반화하지 못하며, 이는 그들이 의미적 이해보다 통계적 패턴에 의존하고 있음을 드러내며, 핵심 인지 작업에 대한 현재 딥 러닝의 근본적인 한계를 보여준다.

ABSTRACT

In the spirit of Turing test, we design and conduct a set of visual numerosity experiments with deep neural networks. We train DCNNs with a large number of sample images that are varied visual representations of small natural numbers, towards the objective of learning numerosity perception. Numerosity perception, or the number sense, is a cognitive construct so primary and so critical to the survival and well-being of our species that is considered and proven to be innate to human infants, and it responds to visual stimuli prior to the development of any symbolic skills, language or arithmetic. Somewhat surprisingly, in our experiments, even with strong supervision, DCNNs cannot see through superficial variations in visual representations and distill the abstract notion of natural number, a task that children perform with high accuracy and confidence. DCNNs are apparently easy to be confused by geometric variations and fail to grasp the topological essence in numerosity. The failures of DCNNs in the proposed cognition experiments also expose their overreliance on sample statistics at the expense of image semantics. Our findings are, we believe, significant and thought-provoking in the interests of AI research, because visual-based numerosity is a benchmark of minimum sort for human intelligence.

연구 동기 및 목표

• 딥 러닝 모델이 시각적 입력을 통해 천연적인 인간에 가까운 수의 감각을 습득할 수 있는지 평가하기 위해.
• DCNNs가 기하학적 및 시각적 변형을 통해 추상적인 수량 인지에 일반화할 수 있는지 조사하기 위해.
• 딥 러닝이 시각 인지에서 위상적 및 의미적 본질을 포착하는 데에 미치는 한계를 드러내기 위해.
• 시각적 수량 인지가 인공지능에서 인간 수준의 지능을 평가하기 위한 최소 기준으로서 유효한지 테스트하기 위해.

제안 방법

• 소수의 자연수(1–10)에 대한 다양한 시각적 표현을 포함하는 대규모 데이터셋을 설계하여 DCNNs를 훈련시켰다.
• 다양한 형태, 배열, 질감을 포함한 다양한 시각적 자극에서 강력한 지도 학습을 통해 딥 컨volution 신경망을 훈련시켰다.
• 훈련 분포를 초월한 새로운 시각적 변형에서의 성능을 평가하여 일반화 능력을 시험했다.
• 모델 예측을 분석하여 수량 인지에서 저수준 통계에 의존하는지, 고수준 의미적 이해에 의존하는지 평가했다.
• 통제된 시각적 자극을 사용하여 기하학적 변형을 의미적 내용에서 분리하고, 모델의 강인성 수준을 측정했다.
• 모델의 행동을 인간 유아의 천연 수의 감각과 비교하여 인지적으로 타당한지 평가했다.

실험 결과

연구 질문

• RQ1 DCNNs는 기호적 기반 없이 다양한 시각적 표현에서 추상적인 수량 개념을 인식할 수 있는가?
• RQ2 DCNNs는 수량 인지에서 훈련 데이터의 통계적 패턴에 얼마나 의존하는가, 수량의 의미적 또는 위상적 불변성에 비해?
• RQ3 시각 자극의 기하학적 및 지각적 변형이 DCNNs의 수량 인지 작업 성능에 어떤 영향을 미치는가?
• RQ4 시각적 수량 인지는 인공지능에서 인간 수준의 인지 능력을 평가하기 위한 유효한 최소 기준이 될 수 있는가?

주요 결과

• 강력한 지도 학습과 대규모 훈련 데이터 조건 하에서도 DCNNs는 수량 자극의 시각적 변형을 일반화하지 못한다.
• 새로운 시각적 배열에서 테스트했을 때 높은 오류율을 보이며, 기반 수 개념의 추상화가 부족함을 나타낸다.
• 성능 저하는 주로 의미적 또는 위상적 이해보다 표면적인 시각적 통계에 과도하게 의존하기 때문이며.
• 다른 시각적 구성에서 동일한 수를 인식하지 못하는 실패는 딥 러닝의 核심 인지 추론 능력에 근본적인 격차가 있음을 드러낸다.
• 결과적으로 시각적 수량 인지는 인공지능의 비현실적인 기준이 아니며, 현재의 딥 러닝 아키텍처에 내재된 한계를 드러내는 데 유의미한 기준이 된다.