[논문 리뷰] Inverting Convolutional Networks with Convolutional Networks.

Alexey Dosovitskiy, Thomas Brox|arXiv (Cornell University)|2015. 06. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 77

한 줄 요약

이 논문은 합성곱 신경망(CNN)의 특징을 역전치(역합성) 네트워크를 사용해 이미지로 재구성하는 방법을 제안한다. 얕은 특징(HOG, SIFT, LBP)과 ImageNet으로 훈련된 네트워크의 깊은 특징 모두가 높은 정밀도로 재구성되며, 고수준 활성화 및 클래스 확률조차도 풍부한 구조적이고 색상 정보를 드러낸다.

ABSTRACT

Feature representations, both hand-designed and learned ones, are often hard to analyze and interpret, even when they are extracted from visual data. We propose a new approach to study image representations by inverting them with an up-convolutional neural network. We apply the method to shallow representations (HOG, SIFT, LBP), as well as to deep networks. For shallow representations our approach provides significantly better reconstructions than existing methods, revealing that there is surprisingly rich information contained in these features. Inverting a deep network trained on ImageNet provides several insights into the properties of the feature representation learned by the network. Most strikingly, the colors and the rough contours of an image can be reconstructed from activations in higher network layers and even from the predicted class probabilities.

연구 동기 및 목표

• 학습된 또는 수작업으로 만든 시각적 특징에서 이미지를 복원하는 방법을 개발하여 해석 가능성 향상.
• 얕은 네트워크와 깊은 네트워크의 특징 표현에서 얼마나 많은 구조적 및 의미적 정보가 유지되는지 조사.
• 깊은 특징을 다시 픽셀 공간으로 역전치함으로써 그 표현 능력을 분석.
• 딥 네트워크의 예측된 클래스 확률만으로도 이미지 복원이 가능한지 평가.
• 통일된 역전치 프레임워크를 사용해 다양한 특징 유형의 복원 품질을 비교.

제안 방법

• 이 방법은 전치 합성곱 신경망(디컨벌루션 넷, deconvnet)을 사용해 특징 맵을 픽셀 공간으로 역전치한다.
• 디컨벌루션 넷은 원본 입력 이미지와 재구성된 이미지 간의 재구성 오차를 최소화하도록 종단간(end-to-end)으로 훈련된다.
• 아키텍처는 VGG나 AlexNet과 같은 인코더 네트워크의 대칭적인, 디컨벌루션 방식으로 구성되어 공간 세부 정보를 재구성한다.
• 이 방법은 얕은 특징(HOG, SIFT, LBP)과 사전 훈련된 ImageNet 네트워크의 깊은 특징에 모두 적용된다.
• 깊은 특징의 경우, 더 깊은 층의 활성화뿐만 아니라 최종 클래스 확률에서도 복원이 수행된다.
• 훈련 과정은 재구성 품질을 최적화하기 위해 픽셀 단위의 L2 손실을 사용한다.

실험 결과

연구 질문

• RQ1 전치된 CNN은 HOG, SIFT, LBP와 같은 얕은 시각적 특징에서 효과적으로 이미지를 재구성할 수 있는가?
• RQ2 딥 네트워크의 고수준 특징이 얼마나 많은 공간적 및 색상 정보를 유지하는가?
• RQ3 딥 네트워크의 예측된 클래스 확률만으로도 이미지 복원이 가능할 수 있는가?
• RQ4 딥 네트워크의 다양한 층에서 복원 품질은 어떻게 달라지는가?
• RQ5 특징 추출의 역과정을 시각화함으로써 특징 표현에 대한 어떤 통찰을 얻을 수 있는가?

주요 결과

• 제안된 방법은 기존의 역전치 기법보다 얕은 특징(HOG, SIFT, LBP)에 대해 훨씬 뛰어난 복원 품질을 달성한다.
• 심지어 더 깊은 층의 고수준 특징에서도 원본 이미지의 윤곽과 색상 구조의 근본적인 형태를 재구성할 수 있다.
• 놀랍게도, ImageNet 분류기의 최종 클래스 확률만으로도 네트워크가 원본 이미지의 거친 색상과 윤곽 정보를 재구성할 수 있다.
• 깊은 특징에서의 복원 결과는 네트워크가 계층적이고 의미적으로 유의미한 표현을 학습하며 강력한 공간 일관성을 유지함을 보여준다.
• 결과는 깊은 특징가 고수준 표현에서 정보 손실가 발생한다는 가정에 도전하며, 상당한 이미지 구조 정보를 유지하고 있음을 입증한다.
• 역전치 과정은 특징 공간의 시각적 해석 가능성을 제공하여, 특징가 실제로 어떤 정보를 코딩하고 있는지 분석할 수 있게 한다.