[논문 리뷰] CIFAR10 to Compare Visual Recognition Performance between Deep Neural Networks and Humans

Tien Ho-Phuoc|arXiv (Cornell University)|2018. 11. 17.

Advanced Neural Network Applications인용 수 25

한 줄 요약

이 논문은 CIFAR-10 데이터셋에서 인간과 딥 뉴럴 네트워크 성능을 공정하고 대규모로 비교하며, 통제된 실험을 통해 인간의 분류 정확도를 측정한다. 연구 결과, 최신의 CNN 모델이 높은 정확도를 달성하고 있음에도 불구하고, 특히 인간에게는 쉬운 이미지지만 네트워크에겐 어려운 이미지에서 일반화 능력이 크게 뒤처지는 것으로 드러났다.

ABSTRACT

Visual object recognition plays an essential role in human daily life. This ability is so efficient that we can recognize a face or an object seemingly without effort, though they may vary in position, scale, pose, and illumination. In the field of computer vision, a large number of studies have been carried out to build a human-like object recognition system. Recently, deep neural networks have shown impressive progress in object classification performance, and have been reported to surpass humans. Yet there is still lack of thorough and fair comparison between humans and artificial recognition systems. While some studies consider artificially degraded images, human recognition performance on dataset widely used for deep neural networks has not been fully evaluated. The present paper carries out an extensive experiment to evaluate human classification accuracy on CIFAR10, a well-known dataset of natural images. This then allows for a fair comparison with the state-of-the-art deep neural networks. Our CIFAR10-based evaluations show very efficient object recognition of recent CNNs but, at the same time, prove that they are still far from human-level capability of generalization. Moreover, a detailed investigation using multiple levels of difficulty reveals that easy images for humans may not be easy for deep neural networks. Such images form a subset of CIFAR10 that can be employed to evaluate and improve future neural networks.

연구 동기 및 목표

• 인간과 딥 뉴럴 네트워크의 시각 인식 성능를 공정하게 비교하기 위한 벤치마크를 수립하기 위해.
• 통제된 조건에서 널리 사용되는 CIFAR-10 데이터셋에서 인간의 분류 정확도를 평가하기 위해.
• 딥 네트워크가 인간에 비해 성능이 떨어지는 이미지 서브셋을 특정하여 일반화 격차를 드러내기 위해.
• 미래의 신경망 아키텍처 개선을 위한 데이터 기반 근거를 제공하기 위해.

제안 방법

• 전체 CIFAR-10 데이터셋에 대한 인간 분류 정확도를 수집하기 위해 대규모 인간 실험을 수행하였다.
• 최신의 딥 뉴럴 네트워크를 훈련하고 평가하는 데 사용된 동일한 CIFAR-10 데이터셋을 사용하였다.
• 인간 성능에 기반해 이미지의 난이도 수준을 분류하여, 다양한 난이도 수준에서 네트워크의 행동을 분석하였다.
• 동일한 테스트 세트와 평가 프로토콜을 사용하여 인간 정확도와 최신의 CNN 모델을 비교하였다.
• 딥 네트워크에겐 어려운데 인간에겐 쉬운 이미지 서브셋을 특정하여, 모델 개선의 대상으로 삼을 수 있도록 하였다.
• 신뢰할 수 있는 인간 성능 측정을 보장하기 위해 통제된 표준화된 이미지 표시 방식을 사용하였다.

실험 결과

연구 질문

• RQ1 CIFAR-10에서 인간의 시각 인식 정확도는 최신 딥 뉴럴 네트워크와 비교해 어떻게 되는가?
• RQ2 CIFAR-10에 있는 특정 이미지 서브셋에서, 전체 정확도가 높음에도 불구하고 딥 뉴럴 네트워크가 인간에 비해 성능이 열 劣하는 경우가 있는가?
• RQ3 특히 인간에게는 쉬운 이미지에서, 현재 딥 뉴럴 네트워크의 일반화 능력은 인간과 비교해 어떻게 되는가?
• RQ4 딥 네트워크에겐 어려운데 인간에겐 쉬운 예제를 특정하는 것이 향후 모델 개발을 이끄는 데 도움이 될 수 있는가?
• RQ5 어느 정도의 난이도 수준에서 인간과 딥 네트워크 간의 성능 격차가 가장 크게 드러나는가?

주요 결과

• CIFAR-10에서 인간의 분류 정확도는 약 95%로 측정되었으며, 이는 최고의 딥 뉴럴 네트워크보다 뚜렷이 높았다.
• 최신의 딥 뉴럴 네트워크는 CIFAR-10에서 약 96%의 정확도를 달성했지만, 이는 그들의 진정한 일반화 능력을 반영하지 못한다.
• 인간에게는 쉬운 이미지(높은 인간 정확도)이지만 딥 뉴럴 네트워크에겐 특히 어려운 이미지 서브셋이 발견되었다.
• 인간과 네트워크 간의 성능 격차는 미묘하거나 복잡한 시각적 단서를 포함한 이미지에서 가장 두드러졌으며, 이는 일반화 능력의 한계를 시사한다.
• 인간에게는 쉬우나 네트워크에겐 어려운 이미지는 CIFAR-10의 명확하고 식별 가능한 서브셋을 이룬다. 이는 내재된 강건성 평가의 새로운 기준이 될 수 있다.
• 결과적으로 현재의 딥 뉴럴 네트워크는 여전히 CIFAR-10과 같은 비교적 단순한 데이터셋에서도 인간 수준의 시각 일반화 능력을 따라잡지 못하고 있음을 보여준다.