[논문 리뷰] Convolutional Neural Networks Deceived by Visual Illusions

Alexander Gomez-Villa, Adrián Martín외 2명|arXiv (Cornell University)|2018. 11. 26.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 이미지 복원, 흐림 제거, 색상 일관성 등 저수준 시각 작업을 위해 훈련된 합성곱 신경망(CNN)이 인간의 시각 환각에 대한 인지 반응을 재현함을 보여주며, 이는 환각이 네트워크의 아키텍처와 훈련 방식의 부산물로 나타남을 시사한다. 주요 발견은 심지어 단순한 CNN도 색상 흡수 및 대비 효과와 같은 환각을 재현하며, 성능은 아키텍처와 주파수 성분에 따라 달라진다는 점이다.

ABSTRACT

Visual illusions teach us that what we see is not always what it is represented in the physical world. Its special nature make them a fascinating tool to test and validate any new vision model proposed. In general, current vision models are based on the concatenation of linear convolutions and non-linear operations. In this paper we get inspiration from the similarity of this structure with the operations present in Convolutional Neural Networks (CNNs). This motivated us to study if CNNs trained for low-level visual tasks are deceived by visual illusions. In particular, we show that CNNs trained for image denoising, image deblurring, and computational color constancy are able to replicate the human response to visual illusions, and that the extent of this replication varies with respect to variation in architecture and spatial pattern size. We believe that this CNNs behaviour appears as a by-product of the training for the low level vision tasks of denoising, color constancy or deblurring. Our work opens a new bridge between human perception and CNNs: in order to obtain CNNs that better replicate human behaviour, we may need to start aiming for them to better replicate visual illusions.

연구 동기 및 목표

• 저수준 시각 작업을 위해 훈련된 CNN이 인간과 동일한 방식으로 시각 환각에 속는지 조사하기.
• 예를 들어 확장된 컨볼루션, 잔차 연결 등 아키텍처의 다양성이 CNN의 시각 환각 재현 능력에 미치는 영향을 탐구하기.
• 시각 환각 재현이 아키텍처 설계가 아니라, 학습 과제 자체(예: 노이즈 제거, 색상 일관성 등)의 결과임을 규명하기.
• 시각 환각을 CNN 행동 검증 기준으로 삼아 인간 인지와 딥러닝 간 새로운 다리를 구축하기.
• 시각 환각 재현이 더 인간에 가까운 시각 모델 설계에 기여하고, 적대적 공격에 대한 강건성을 향상시킬 수 있는지 탐색하기.

제안 방법

• 자연 이미지 데이터셋에서 이미지 복원, 흐림 제거, 색상 일관성 작업을 위해 단층 및 다층 CNN을 훈련시킴.
• 다섯 가지 고전적 시각 환각(예: Dungeon(흡수), Lum(대비))에 대해 인간 인지 데이터와 네트워크 출력을 비교 평가함.
• 확장된 컨볼루션, 풀링 레이어, 잔차 연결 등의 아키텍처 수정을 적용하여 환각 재현에 미치는 영향을 분석함.
• 표준화된 평가 파이프라인을 사용: 모델 출력을 환각 자극에 대한 인간의 인지 순위와 비교함.
• 회색조 및 색상 버전의 환각을 모두 테스트하여 다중 모odal 일반화 능력을 평가함.
• 기존 최고 수준의 노이즈 제거 CNN(Zhang2017)을 단순 아키텍처와 비교하기 위해 평가함.

실험 결과

연구 질문

• RQ1 저수준 시각 작업을 위해 훈련된 CNN은 인간의 시각 환각에 대한 반응을 재현하는가?
• RQ2 확장된 컨볼루션과 잔차 연결과 같은 아키텍처 구성 요소가 시각 환각 재현에 어떤 영향을 미치는가?
• RQ3 시각 환각 재현은 특정 과제(예: 노이즈 제거 vs. 색상 일관성)에 따라 달라지는가?
• RQ4 색상 훈련을 받은 CNN은 회색조에서 환각을 재현할 수 있는가? 이는 밝기 인지의 신경 기반에 어떤 함의를 갖는가?
• RQ5 시각 환각 재현이 시각 모델의 인간 유사성 향상에 대한 평가 기준으로 사용될 수 있는가?

주요 결과

• 단일 층, 8개 커널을 가진 단순한 CNN도 색상 흡수 및 대비 효과와 같은 시각 환각에 인간의 반응을 재현함.
• 확장된 컨볼루션 및 잔차 연결 등의 아키텍처 변경은 재현 범위에 영향을 미치며, 일부 구성에서는 특정 효과를 억제하거나 유지함.
• 잔차 연결은 일부 환각(예: Dungeon 및 Lum)에 대해 회색조에서는 환각 재현을 완전히 제거할 수 있으나, 색상에서는 그렇지 않아, 모odal 특이적 영향이 있음을 시사함.
• 최고 수준의 노이즈 제거 CNN(Zhang2017)는 환각 효과를 약간 재현함으로써, 심지어 고도로 발전한 모델이라도 인지 왜곡에 완전히 면역되지 않음을 시사함.
• 색상 훈련을 받은 CNN은 회색조에서도 환각을 재현할 수 있어, 시각 체계에서 색상과 밝기 인지 간 잠재적 연관성이 있음을 시사함.
• 환각 재현은 보편적이지 않으며, 네트워크 구조와 입력 패턴 크기에 따라 일부 환각은 일관되게 재현되고, 다른 환각은 그렇지 않음.