[논문 리뷰] How is Contrast Encoded in Deep Neural Networks?

Arash Akbarinia, Karl R. Gegenfurtner|arXiv (Cornell University)|2018. 09. 05.

Advanced Neural Network Applications참고 문헌 12인용 수 5

한 줄 요약

이 논문은 다양한 입력 대trast 수준에서 컨volutional 레이어를 통해 커널 활성 패턴을 분석함으로써 딥 네ural 네트워크가 대trast 불변성을 어떻게 달성하는지 조사한다. 연구 결과, 첫 번째 맥스 풀링 이전에 다수의 컨볼루션 레이어를 가진 네트워크—예를 들어 VGG와 Inception—는 마지막 그러한 레이어가 대trast 변화를 흡수함으로써 그 영향이 고층으로 전파되는 것을 방지함으로써 강건성을 확보하며, 이는 생물학적 시각 처리 메커니즘과 유사하다.

ABSTRACT

Contrast is a crucial factor in visual information processing. It is desired for a visual system - irrespective of being biological or artificial - to "perceive" the world robustly under large potential changes in illumination. In this work, we studied the responses of deep neural networks (DNN) to identical images at different levels of contrast. We analysed the activation of kernels in the convolutional layers of eight prominent networks with distinct architectures (e.g. VGG and Inception). The results of our experiments indicate that those networks with a higher tolerance to alteration of contrast have more than one convolutional layer prior to the first max-pooling operator. It appears that the last convolutional layer before the first max-pooling acts as a mitigator of contrast variation in input images. In our investigation, interestingly, we observed many similarities between the mechanisms of these DNNs and biological visual systems. These comparisons allow us to understand more profoundly the underlying mechanisms of a visual system that is grounded on the basis of "data-analysis".

연구 동기 및 목표

• 다양한 조명 조건에서 딥 네럴 네트워크(DNNs)가 대trast 불변성을 달성하는 메커니즘을 이해하는 것.
• 특히 맥스 풀링 이전의 컨볼루션 레이어 수와 같은 아키텍처 설계가 대trast 강건성에 영향을 미치는지 조사하는 것.
• DNN이 대trast 변화를 처리하는 방식이 생물학적 시각 시스템과 어떻게 유사한지 비교하는 것.
• 입력 이미지의 대trast 변화를 완화하는 데 가장 기여하는 특정 레이어를 규명하는 것.

제안 방법

• 연구는 ImageNet 검증 세트에서 다양한 아키텍처를 가진 8종의 유명한 DNNs, VGG 및 Inception 포함 분석하였다.
• 각 네트워크는 동일한 입력 이미지의 11개의 대trast 수준(100%에서 5%까지)으로 테스트되었다.
• 첫 번째 다섯 번째 컨볼루션 레이어 각각에 대해, 각 공간 위치에서 가장 활성화된 커널을 대trast 수준 전역에서 기록하였다.
• 대trast 수준 간 동일한 승자 커널의 비율을 계산하여 각 레이어의 대trast 변화에 대한 민감도를 평가하였다.
• 특히 첫 번째 맥스 풀링 이전의 마지막 컨볼루션 레이어에서 대trast 변화에 따른 커널 정체성의 변화를 중심으로 분석하였다.
• 대trast 불변성을 보이는 네트워크(예: VGG, Inception)와 불변성이 없는 네트워크(예: GoogLeNet, AlexNet) 간 비교 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 다양한 DNN 아키텍처는 입력 이미지의 대trast 변화에 어떻게 반응하는가?
• RQ2 대trast 불변성을 보이는 네트워크와 대trast 변화에 민감한 네트워크를 구분하는 아키텍처적 특징은 무엇인가?
• RQ3 입력 이미지의 대trast 변화를 완화하는 데 가장 기여하는 컨볼루션 레이어는 어느 것인가?
• RQ4 DNN은 생물학적 시각 시스템에서 관찰되는 대trast 불변 메커니즘을 어느 정도 모방하는가?

주요 결과

• 첫 번째 맥스 풀링 이전에 두 개 이상의 컨볼루션 레이어를 가진 네트워크—예를 들어 VGG와 Inception—는 5% 대trast까지도 높은 분류 정확도를 유지하였다.
• 맥스 풀링 이전의 마지막 컨볼루션 레이어가 대trast 변화에 가장 민감하게 반응하여, 대trast 변화를 주로 완화하는 주요 기능을 수행하는 것으로 나타났다.
• 반면, 첫 번째 컨볼루션 레이어 직후에 맥스 풀링이 위치한 네트워크—예를 들어 GoogLeNet과 AlexNet—는 저대trast 수준에서 성능이 급격히 떨어졌다.
• 대trast 감소에 따라 맥스 풀링 이전의 마지막 레이어에서 동일한 승자 커널 비율이 크게 감소하여, 입력 대trast에 대한 동적 적응이 이루어지는 것으로 나타났다.
• Inception-V3에서는 마지막 맥스 풀링 이전 레이어에서 10% 대trast 수준에서 가장 활성화된 커널의 2/3 이상이 변화했지만, 분류 정확도는 안정을 유지하여, 초기 적응을 통한 강건성이 입증되었다.
• 대trast 불변성을 보이는 네트워크 전반에서 일관된 패tern을 관찰할 수 있었으며, 대trast 변화에 대한 가장 높은 민감도는 맥스 풀링 이전의 마지막 컨볼루션 레이어에서 관찰되었고, 더 깊은 레이어에서는 그렇지 않았다.