[논문 리뷰] Visualizing and Comparing Convolutional Neural Networks

Wei Yu, Kuiyuan Yang외 3명|arXiv (Cornell University)|2014. 12. 20.

Neural Networks and Applications참고 문헌 5인용 수 52

한 줄 요약

이 논문은 t-SNE를 통해 표현 공간을 분석하고, deconvolution을 통해 입력 특징을 재구성함으로써 컨volutional 신경망(CNNs)을 해석하기 위한 이중 시각화 프레임워크를 제안한다. 이는 VGGNet과 같은 깊은 네트워크가 AlexNet과 같은 浅층 아키텍처보다 더 나은 특징 분류 성능을 내기 위해 배경 정보를 점차적으로 억제함을 보여준다.

ABSTRACT

Convolutional Neural Networks (CNNs) have achieved comparable error rates to well-trained human on ILSVRC2014 image classification task. To achieve better performance, the complexity of CNNs is continually increasing with deeper and bigger architectures. Though CNNs achieved promising external classification behavior, understanding of their internal work mechanism is still limited. In this work, we attempt to understand the internal work mechanism of CNNs by probing the internal representations in two comprehensive aspects, i.e., visualizing patches in the representation spaces constructed by different layers, and visualizing visual information kept in each layer. We further compare CNNs with different depths and show the advantages brought by deeper architecture.

연구 동기 및 목표

• 강력한 외부 성능에도 불구하고 여전히 '블랙박스'로 남아 있는 CNN의 내부 작동 원리를 이해하기 위해.
• 특히 패턴 정렬과 특징 추상화 측면에서 CNN의 레이어 간 표현 공간의 진화 과정을 조사하기 위해.
• 깊은(VGGNet)과 浅층(AlexNet) CNN 아키텍처 간의 특징 추출 및 정보 필터링 능력을 비교하기 위해.
• 네트워크 깊이가 분류 가능한 특징 학습 및 배경 억제 능력을 향상시키는 데 미치는 영향을 평가하기 위해.

제안 방법

• t-SNE를 사용하여 고차원 내부 활성값을 2차원으로 투영함으로써, 레이어 간 기능 유사성에 따라 유사한 이미지 패치들이 어떻게 군집되는지 시각화함.
• 전방 전파를 역행하는 deconvolutional 네트워크를 사용하여 내부 특징 맵에서 입력 이미지 패치를 재구성함으로써 가장 분류 가능한 구조만 유지함.
• 역방향 맥스풀링 및 역방향 ReLU 연산을 적용하여 고차원 레이어의 특징 맵을 저차원 레이어로 되돌려보냄으로써 공간적 구조와 활성 패턴을 유지함.
• 재구성된 특징을 레이어 간 비교함으로써 VGGNet과 AlexNet 간의 배경 억제 및 분류 가능한 부분 유지 능력을 분석함.
• 각 레이어당 0 활성값의 비율로 표현된 특징의 희소성 측정을 통해 각 네트워크가 비분류 가능한 특징을 얼마나 효과적으로 제거하는지 평가함.
• 실세계 이미지 여러 장에 대해 내부 표현을 평가하고 시각화하기 위해 ImageNet ILSVRC2012 검증 세트를 사용함.

실험 결과

연구 질문

• RQ1 CNN 내부 표현이 레이어 간에 특징 추상화와 군집화 측면에서 어떻게 진화하는가?
• RQ2 Deconvolutional 재구성이 특정 필터와 특징 맵을 자극하는 시각적 구조를 얼마나 잘 드러내는가?
• RQ3 네트워크 깊이가 특징 학습 중에 관련 없는 배경 정보를 억제하는 능력에 어떤 영향을 미치는가?
• RQ4 깊은(VGGNet)과 浅층(AlexNet) 아키텍처 간 표현의 희소성과 분류 가능한 특징 유지 능력에 어떤 차이가 있는가?

주요 결과

• t-SNE 시각화 결과, 깊은 CNN에서 표현 공간이 레이어 간에 저수준의 질감에서 고수준의 의미적 패턴으로 점차 정렬됨을 확인함.
• Deconvolutional 재구성 결과, VGGNet과 같은 깊은 네트워크가 고차원 레이어로 갈수록 관련 없는 배경 콘텐츠를 점차 제거하고, 이미지의 가장 분류 가능한 부분만 유지함.
• 최종 컨볼루션 레이어에서 VGGNet은 AlexNet보다 더 많은 분류 가능한 정보를 유지함. 반면 AlexNet은 더 많은 혼란스러운 배경 특징을 유지함.
• 두 네트워크 모두 저차원에서 고차원 레이어로 갈수록 특징 활성값의 희소성이 증가하지만, VGGNet은 고차원 레이어에서 유의미하게 더 높은 희소성을 보이며 비관련 특징의 필터링 능력이 뛰어남.
• 동시에 자주 나타나는 객체들(예: 마우스와 마우스 트랩)의 경우, VGGNet의 내부 표현은 이러한 맥락적 단서를 유지할 수 있어 정확한 예측을 이끌어냄.
• 비교 결과, 더 깊은 아키텍처가 분류 가능한 시각적 구조를 더 효과적으로 추출하고 강조함을 확인함. 이는 직접적으로 분류 정확도 향상에 기여함.