[논문 리뷰] A Study and Comparison of Human and Deep Learning Recognition Performance Under Visual Distortions

Samuel Dodge, Lina J. Karam|arXiv (Cornell University)|2017. 05. 06.

Image Processing Techniques and Applications참고 문헌 17인용 수 27

한 줄 요약

이 연구는 가우시안 노이즈 및 블러와 같은 시각적 왜곡이 가해진 이미지에서 인간과 딥 뉴럴 네트워크(DNN)의 성능을 비교한다. 청소된 이미지에서는 DNN가 인간의 정확도를 따라하거나 초월하지만, 왜곡된 이미지에서는 인간보다 성능이著しく 열 劣하고, 오류 패턴 간 상관관계도 미미하여 인간과 DNN 간 내부 이미지 표현 방식에 근본적인 차이가 있음을 시사한다.

ABSTRACT

Deep neural networks (DNNs) achieve excellent performance on standard classification tasks. However, under image quality distortions such as blur and noise, classification accuracy becomes poor. In this work, we compare the performance of DNNs with human subjects on distorted images. We show that, although DNNs perform better than or on par with humans on good quality images, DNN performance is still much lower than human performance on distorted images. We additionally find that there is little correlation in errors between DNNs and human subjects. This could be an indication that the internal representation of images are different between DNNs and the human visual system. These comparisons with human performance could be used to guide future development of more robust DNNs.

연구 동기 및 목표

• 이미지에 노이즈 및 블러와 같은 시각적 왜곡이 가해졌을 때 딥 뉴럴 네트워크(DNN)가 인간의 성능을 유지하거나 초월하는지 평가하기 위해.
• 다양한 왜곡 수준에서 인간과 DNN의 분류 오류 간 상관관계를 조사하여 인식 전략의 유사성을 평가하기 위해.
• 인간 시각 시스템이 이미지 왜곡에 강건한 이유가 현재 DNN에 존재하지 않는 표현 능력 때문인지 규명하기 위해.
• 인간 시각 시스템의 강건성에서 영감을 얻어 향후 더 강건한 DNN 개발을 이끄는 데 기여하기 위해.

제안 방법

• 다양한 수준의 추가 가우시안 노이즈 및 가우시안 블러로 왜곡된 이미지에서 15명의 인간 참가자에게 분류 실험을 실시하였다.
• DNN 기준선으로 미세조정된 VGG16 네트워크를 사용하였으며, 청소된 ImageNet 데이터로 학습하고 왜곡된 데이터로 미세조정하였다.
• 다양한 왜곡 수준에서 인간 및 DNN 예측의 오 confusion 행렬을 계산하여 오분류 패턴을 분석하였다.
• 다양한 왜곡 수준에서 인간과 DNN의 오분류 간 피어슨 상관계수를 계산하여 오류 유사성을 정량화하였다.
• 인간은 성공했지만 DNN는 실패한 케이스와 반대로 DNN는 성공했지만 인간은 실패한 케이스를 분석하여 어려움을 파악하였다.
• 청소된 이미지 및 왜곡된 이미지에서 표준 ImageNet top-5 오류율을 사용하여 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 이미지가 노이즈 및 블러로 열화되었을 때 딥 뉴럴 네트워크(DNN)가 인간의 성능을 유지하거나 초월하는가?
• RQ2 이미지 왜곡 수준이 증가함에 따라 인간과 DNN의 분류 오류 간 상관관계는 어떻게 변화하는가?
• RQ3 오류 패턴을 통해 인간 시각 시스템과 DNN 간 이미지의 내부 표현에 근본적인 차이가 있는가?
• RQ4 왜곡된 데이터로 DNN를 미세조정하면 인간 참가자와의 성능 격차를 줄일 수 있는가?

주요 결과

• 가우시안 노이즈 및 블러로 열화된 이미지에서 인간 참가자가 DNN보다 유의미하게 높은 분류 정확도를 달성하였으며, 특히 고수준 왜곡에서 두드러졌다.
• 모든 왜곡 수준에서 인간과 DNN의 오분류 간 피어슨 상관계수는 낮았으며, 오류 패턴 간 겹침이 거의 없음을 시사했다.
• 원본 미리 훈련된 VGG16 모델은 대부분의 왜곡된 이미지를 오직 한두 클래스로 오분류하는 경향을 보였으며, 이는 통합적 적대적 행동과 유사함을 시사했다.
• 미세조정된 VGG16 모델은 통합적 오분류 경향이 감소하여, 미세조정이 강건성을 향상시켰음을 나타냈다.
• 일부 이미지는 인간은 정확히 분류했지만 DNN는 실패했고, 반대로 일부 이미지는 DNN는 정확히 분류했지만 인간은 실패한 경우가 있었으며, 이는 인간과 DNN의 인식 전략이 다름을 강조했다.
• 미세조정에도 불구하고 DNN의 왜곡된 이미지에서의 성능은 여전히 인간의 성능보다 크게 열 劣하여 지속적인 강건성 격차가 존재함을 시사했다.