[논문 리뷰] Understanding Neural Networks Through Deep Visualization

Jason Yosinski, Jeff Clune외 3명|arXiv (Cornell University)|2015. 06. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 10인용 수 1,469

한 줄 요약

이 논문은 딥 신경망의 해석 가능성 향상을 위한 두 가지 오픈소스 도구를 소개한다: (1) 실시간 입력에 대한 반응으로 특징 활성화를 라이브로 시각화하는 도구, 및 (2) 학습된 특징을 해석 가능한 방식으로 시각화하기 위한 정규화 최적화 방법. 주요 기여는 새로운 정규화 기법을 통해 훨씬 더 명확하고 현실적인 특징 시각화를 가능하게 한 것으로, 합성곱 신경망이 물체와 패턴을 어떻게 탐지하는지에 대한 깊이 있는 통찰을 제공한다.

ABSTRACT

Recent years have produced great advances in training large, deep neural networks (DNNs), including notable successes in training convolutional neural networks (convnets) to recognize natural images. However, our understanding of how these models work, especially what computations they perform at intermediate layers, has lagged behind. Progress in the field will be further accelerated by the development of better tools for visualizing and interpreting neural nets. We introduce two such tools here. The first is a tool that visualizes the activations produced on each layer of a trained convnet as it processes an image or video (e.g. a live webcam stream). We have found that looking at live activations that change in response to user input helps build valuable intuitions about how convnets work. The second tool enables visualizing features at each layer of a DNN via regularized optimization in image space. Because previous versions of this idea produced less recognizable images, here we introduce several new regularization methods that combine to produce qualitatively clearer, more interpretable visualizations. Both tools are open source and work on a pre-trained convnet with minimal setup.

연구 동기 및 목표

• 딥 신경망의 해석 가능성 부족 문제, 특히 중간층 표현을 이해하는 데에 대비하기 위해.
• 연구자와 실무자가 훈련된 합성곱 신경망(CNN)이 입력에 어떻게 반응하는지 직관을 얻을 수 있도록 상호작용 가능한 도구를 개발하기 위해.
• 새로운 정규화 방법을 도입하여 특징 시각화의 품질을 향상시켜 학습된 특징을 더 해석 가능하고 현실적인 방식으로 표현하기 위해.
• 학습된 특징의 진정한 불변성과 국소성(로컬리티)을 드러내어 더 나은 디버깅, 모델 개선 및 전이 학습을 가능하게 하기 위해.
• 학습된 사전 정보와 특징 표현을 활용해 분류적으로 훈련된 네트워크를 생성 모델링에 활용할 잠재력을 탐색하기 위해.

제안 방법

• 첫 번째 도구는 라이브 웹캠 입력이나 정적 이미지를 처리할 때, 사전 훈련된 CNN의 각 층에서 특징 활성화를 실시간으로 시각화한다.
• 두 번째 도구는 이미지 공간에서 정규화된 경사 상승법을 사용하여 특정 뉴런이나 채널을 최대한 활성화시키는 입력 이미지를 최적화한다.
• 전체 미분, 색상 왜곡, 공간 스무딩과 같은 새로운 정규화 기법을 도입하여 최적화 과정을 제약하고 더 현실적이고 해석 가능한 시각화를 생성한다.
• 노이즈를 억제하고 구조적 일관성을 유지하기 위해 다중 정규화 항을 조합하여 더 명확한 특징 검출기(예: 얼굴, 바퀴, 눈)를 도출한다.
• 이 방법은 뉴런의 선호 자극을 가장 잘 나타내는 최적화된 합성 이미지뿐 아니라, 최상위 활성화를 보인 훈련 이미지도 함께 시각화할 수 있도록 한다.
• 이 도구들은 오픈소스 소프트웨어로 구현되었으며, AlexNet과 같은 표준 사전 훈련 모델과 함께 작동하며 최소한의 설정이 필요하다.

실험 결과

연구 질문

• RQ1 딥 합성곱 신경망의 중간 특징 표현의 해석 가능성을 어떻게 향상시킬 수 있는가?
• RQ2 정규화된 최적화를 통해 노이즈가 아닌 의미 있고 현실적인 특징을 드러내는 시각화는 어떤 형태로 생성될 수 있는가?
• RQ3 훈련된 CNN의 특징 검출기는 자연 이미지의 부분에 어떻게 반응하는가? 그리고 이들은 국소화되어 있는가, 아니면 채널에 걸쳐 분산되어 있는가?
• RQ4 분류적으로 훈련된 네트워크는 이미지 공간에 대한 사전과 클래스별 활성화를 강제로 적용함으로써 현실적인 이미지를 생성하는 데에 사용될 수 있는가?
• RQ5 특징 시각화는 깊이 있는 네트워크에서 불변성과 계층적 조합의 정도를 어느 정도 드러내는가?

주요 결과

• 새로운 정규화 기법은 이전 방법에 비해 훨씬 더 명확하고 해석 가능한 특징 시각화를 가능하게 하며, 얼굴, 눈, 바퀴, 털 무늬 등 학습된 특징을 효과적으로 드러낸다.
• 더 깊은 층(예: conv5)의 특징 검출기는 얼굴, 바퀴, 눈과 같은 특정한 자연적 부분에 반응함으로써 표현의 국소성 정도를 시사한다.
• 일부 뉴런은 다수의 물체 부분에 반응한다(예: 얼굴 검출기와 함께 담요 위의 꽃에도 반응함), 이는 복잡하고 상호 배제되지 않는 특징 상호작용을 드러낸다.
• 시각화 결과는 더 깊은 층에서 점점 더 복잡하고 다양한 패턴을 학습함을 보여주며, 마지막 합성곱 층과 첫 번째 완전 연결 층 사이에 다양성의 급격한 증가가 눈에 띈다.
• 간단한 수작업 사전 정보조차도 최적화된 이미지가 장거리 공간적 의존성을 보이며(예: 100 픽셀 이상의 거리에 걸쳐 특징을 가진 벌레), 분류적으로 훈련된 모델이 생성 모델처럼 구조를 인코딩하고 있음을 시사한다.
• 결과적으로, 이미지 공간에 강력한 학습된 사전 정보를 결합할 경우 분류적으로 훈련된 네트워크가 생성 모델링에 재사용될 수 있음을 시사한다.