[논문 리뷰] Visualizing and Understanding Convolutional Networks

Matthew D. Zeiler, Rob Fergus|arXiv (Cornell University)|2013. 11. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 17인용 수 448

한 줄 요약

이 논문은 중간 특징 활성화를 입력 픽셀 공간으로 다시 매핑하는 디컨볼루션 네트워크(deconvnet) 시각화 기법을 소개한다. 이 기법은 컨volutional 네트워크가 계층적이고 클래스 구분 가능한 특징을 어떻게 학습하는지 밝혀낸다. 이 방법을 통해 저자들은 모델 아키텍처를 진단하고 개선하였으며, Krizhevsky 등과 비교해 이미지넷 상위-1 오차율(13.7%)을 달성했다. 또한, 소프트맥스 분류기만 미세조정함으로써 캘테크-101 및 캘테크-256에 대해 강력한 일반화 성능을 입증하였다.

ABSTRACT

Large Convolutional Network models have recently demonstrated impressive classification performance on the ImageNet benchmark. However there is no clear understanding of why they perform so well, or how they might be improved. In this paper we address both issues. We introduce a novel visualization technique that gives insight into the function of intermediate feature layers and the operation of the classifier. We also perform an ablation study to discover the performance contribution from different model layers. This enables us to find model architectures that outperform Krizhevsky \etal on the ImageNet classification benchmark. We show our ImageNet model generalizes well to other datasets: when the softmax classifier is retrained, it convincingly beats the current state-of-the-art results on Caltech-101 and Caltech-256 datasets.

연구 동기 및 목표

• 딥 컨볼루션 네트워크의 내부 기능을 밝혀내는 진단 도구를 개발하여, 이들이 종종 블랙박스로 간주되는 문제를 해결하는 것.
• 대규모 컨볼루션 네트워크가 이미지 분류 벤치마크에서 최고 성능을 내는 이유를 이해하는 것.
• 시각화 기반 진단을 통해 모델 아키텍처를 개선하고, 이미지넷에서 더 높은 성능을 달성하는 것.
• 캘테크-101 및 캘테크-256와 같은 다른 데이터셋에서의 이미지넷 사전학습된 특징의 일반화 능력을 평가하는 것.
• 아블레이션을 통해 각 레이어와 아키텍처 구성 요소가 전체 모델 성능에 기여하는 방식을 분석하는 것.

제안 방법

• 다중 레이어의 디컨볼루션 네트워크(deconvnet)를 사용하여 중간 레이어의 특징 활성화를 입력 픽셀 공간으로 다시 매핑함으로써, 각 특징 맵을 가장 강하게 자극하는 자극을 재구성한다.
• deconvnet은 원래 컨볼루션 네트워크의 순서와 반대되는 순서로 역방향 전치 컨볼루션과 ReLU 활성화를 수행하여, 특징 반응의 상향식 시각화를 가능하게 한다.
• 장애물 막기(occlusion)를 통한 민감도 분석을 적용하여 분류에 가장 중요한 이미지 영역을 식별함으로써 국소적 구조 의존성을 드러낸다.
• 계속해서 레이어나 구성 요소(예: 풀링, 정규화)를 제거하거나 수정함으로써 성능에 미치는 영향을 평가하기 위해 아블레이션 연구를 수행한다.
• 전이 학습을 평가하기 위해, 이미지넷 사전학습된 모델의 특징을 사용하여 캘테크-101, 캘테크-256, PASCAL 2012의 최종 소프트맥스 분류기만 재학습한다.
• 선형 SVM 및 소프트맥스 분류기를 다양한 레이어의 특징에서 학습시켜, 계층적 특징의 구분 능력을 평가한다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 네트워크의 특정 특징 맵을 자극하는 시각적 패턴은 무엇이며, 이는 레이어 간에 어떻게 진화하는가?
• RQ2 시각화 기법을 어떻게 활용하여 컨볼루션 네트워크 아키텍처를 진단하고 개선할 수 있는가?
• RQ3 이미지넷에서 학습된 특징이 다른 이미지 분류 벤치마크로 얼마나 잘 일반화되는가?
• RQ4 풀링, 정규화 등 특정 아키텍처 구성 요소 중에서 성능에 가장 중요한 요소는 무엇이며, 각각 어떤 기여를 하는가?
• RQ5 모델은 국소적 이미지 구조에 얼마나 민감한가? 그리고 분류에 전반적인 시나리오 맥락을 기반으로 의존하는가?

주요 결과

• 디컨볼루션 시각화 기법은 깊이가 깊어질수록 엣지, 텍스처, 물체 부분과 같은 점점 더 복잡하고 클래스에 구분 가능한 조합적 패턴을 학습하는 특징 맵을 드러낸다.
• 시각화 기반 아키텍처 탐색을 통해 저자들은 이미지넷에서 상위-1 오차율 13.7%를 달성하였으며, Krizhevsky 등이 보고한 16.4%보다 뛰어난 성능을 기록하였다.
• 캘테크-101 및 캘테크-256에서, 이미지넷 사전학습된 특징에 대해 소프트맥스 분류기만 미세조정함으로써 최고 성능을 달성하였으며, 캘테크-101에서 85.4%의 정확도와 캘테크-256에서 72.6%의 정확도를 기록하였다.
• 아블레이션 연구 결과, 네트워크의 깊이가 개별 구성 요소보다 훨씬 더 중요하며, 네트워크가 너무 浅수록 성능이 크게 떨어지는 것으로 나타났다.
• 장애물 막기 실험 결과, 모델은 전반적인 시나리오 맥락 뿐 아니라 국소적 이미지 구조에 매우 민감함을 확인하였으며, 분류에 세밀한 특징에 의존함을 시사한다.
• 깊은 레이어(예: 레이어 5 및 7)의 특징는 얕은 레이어보다 훨씬 더 많은 구분 능력을 지니며, 깊이가 증가할수록 점차 상승하는 SVM 및 소프트맥스 정확도로 이를 입증하였다.