[논문 리뷰] How intelligent are convolutional neural networks?

Zhennan Yan, Xiang Sean Zhou|arXiv (Cornell University)|2017. 09. 18.

Advanced Image and Video Retrieval Techniques참고 문헌 34인용 수 10

한 줄 요약

이 논문은 최소한의 예시에서 대칭, 세기, 균일성과 같은 게슈탈트 유사 시각적 개념—예를 들어, 대칭, 세기, 균일성—을 학습할 수 있는가를 테스트하여 딥 컨volution 신경망(DCNNs)의 의미적 이해 능력을 조사한다. 점점 복잡도가 증가하는 적대적으로 설계된 합성 이미지 세트를 사용하여, 인간은 몇 개의 예시만으로도 '아하!' 순간을 경험한 후 거의 완벽한 일반화를 달성하는 반면, DCNNs는 수천 배에서 수만 배에 달하는 더 많은 데이터가 필요하고, 분포 외부 또는 의도적으로 혼동을 유도하는 샘플에서는 여전히 실패함을 드러내며, 이는 진정한 개념적 이해가 부족하다는 것을 시사한다.

ABSTRACT

Motivated by the Gestalt pattern theory, and the Winograd Challenge for language understanding, we design synthetic experiments to investigate a deep learning algorithm's ability to infer simple (at least for human) visual concepts, such as symmetry, from examples. A visual concept is represented by randomly generated, positive as well as negative, example images. We then test the ability and speed of algorithms (and humans) to learn the concept from these images. The training and testing are performed progressively in multiple rounds, with each subsequent round deliberately designed to be more complex and confusing than the previous round(s), especially if the concept was not grasped by the learner. However, if the concept was understood, all the deliberate tests would become trivially easy. Our experiments show that humans can often infer a semantic concept quickly after looking at only a very small number of examples (this is often referred to as an "aha moment": a moment of sudden realization), and performs perfectly during all testing rounds (except for careless mistakes). On the contrary, deep convolutional neural networks (DCNN) could approximate some concepts statistically, but only after seeing many (x10^4) more examples. And it will still make obvious mistakes, especially during deliberate testing rounds or on samples outside the training distributions. This signals a lack of true "understanding", or a failure to reach the right "formula" for the semantics. We did find that some concepts are easier for DCNN than others. For example, simple "counting" is more learnable than "symmetry", while "uniformity" or "conformance" are much more difficult for DCNN to learn. To conclude, we propose an "Aha Challenge" for visual perception, calling for focused and quantitative research on Gestalt-style machine intelligence using limited training examples.

연구 동기 및 목표

• 딥 컨volution 신경망(DCNNs)이 대칭, 세기, 균일성과 같은 시각적 개념에 대해 인간 수준의 의미적 이해를 달성할 수 있는지 평가하는 것.
• 인간과 비교하여 DCNNs가 추상적 시각 패턴을 학습할 때의 샘플 효율성과 일반화 능력을 조사하는 것.
• 구조적 및 통계적 복잡도에 기반하여 DCNNs와 인간이 각각 어떤 시각적 개념을 더 잘 학습할 수 있는지 파악하는 것.
• 최소한의 학습 데이터로 고차원 시각 지능을 평가하기 위한 새로운 벤치마크인 '아하 챌린지'를 제안하는 것.

제안 방법

• 각 시각적 개념(예: 대칭, 세기, 균일성)에 대해 양성 및 음성 예시를 포함하는 합성 데이터셋을 생성하여 레이아웃, 크기, 노이즈 등에서 통제된 변화를 보장하였다.
• 학습 및 테스트를 다수의 라운드에 걸쳐 수행하였으며, 각 후속 라운드는 복잡도가 증가하고 인간의 오해를 유도하는 적대적 예시를 포함하였다.
• 인간 참가자들은 DCNNs와 동일한 조건에서 테스트되었으며, 추가 힌트 없이도 최소한의 예시 이후 일반화 능력을 측정하였다.
• 학습 속도는 높은 테스트 정확도에 도달하기 위해 필요한 학습 예시 수를 측정하여 정량화하였으며, 일반화 능력은 분포 외부 테스트 세트를 사용하여 평가하였다.
• DCNNs는 표준 백프로파게이션을 사용하여 엔드 투 엔드로 훈련되었으며, 내부 분포 및 적대적으로 변형된 테스트 데이터에서 성능을 평가하였다.
• 알고리즘 제출, 인간 연구 결과, 새로운 테스트 설계를 수용하는 '챌린지' 프레임워크를 구축하여 시각 지능을 평가하는 데 목적이 있었다.

실험 결과

연구 질문

• RQ1 DCNNs는 단지 몇 개의 예시만을 제공받았을 때 인간과 동일한 속도와 정확도로 대칭, 균일성과 같은 추상적 시각적 개념을 학습할 수 있는가?
• RQ2 인간이 '아하!' 순간을 경험한 후 쉽게 분류할 수 있는 적대적으로 설계된 테스트 샘플에서 DCNNs의 성능는 어떻게 저하되는가?
• RQ3 어느 시각적 개념(예: 세기, 대칭, 균일성)이 DCNNs의 데이터 기반 학습에 더 적합한가, 그리고 그 이유는 무엇인가?
• RQ4 학습 데이터 크기를 늘릴수록 인간과 DCNNs 간의 시각적 의미 이해에서의 '지능 격차'는 어느 정도 줄어들 수 있는가?
• RQ5 예를 들어 '아하 챌린지'와 같은 체계적인 벤치마크를 설계하여 기계 지능의 시각 인식 능력을 평가하고 향상시킬 수 있는가?

주요 결과

• 인간은 최소한의 학습 예시 이후 항상 완벽하거나 거의 완벽한 분류 정확도를 달성하였으며, 종종 단 한 번의 '아하!' 순간의 통찰 이후 이루어졌다.
• DCNNs는 동일한 시각적 개념에서 인간과 유사한 성능에 도달하기 위해 인간보다 약 10^4배 더 많은 학습 예시가 필요하였다.
• DCNNs는 분포 외부 및 적대적으로 설계된 테스트 샘플에서 체계적인 오류를 범하였으며, 장기간의 훈련 후에도 진정한 개념적 이해가 부족함을 나타냈다.
• 객체 수를 세는 것(1~3개의 물체)과 같은 단순한 개념은 대칭이나 균일성과 같은 복잡한 개념보다 DCNNs에게 더 잘 학습되었으며, 후자에 대해서는 훨씬 더 많은 데이터가 필요하고 일반화 능력도 열악하였다.
• 연구 결과 DCNNs는 '크기는 중요하지 않다'와 같은 불변 규칙을 자율적으로 유추할 수 없었으며, 이러한 규칙은 하드코딩되어야만 하여, 이는 그들의 추론 능력에 근본적인 제약이 있음을 시사한다.
• 결과는 최소한의 데이터로 인간과 유사한 통찰력과 일반화 능력을 갖춘 시각 AI를 달성하기 위해 새로운 벤치마크인 '아하 챌린지'가 필요하다는 것을 뒷받침한다.