[논문 리뷰] Understanding Intra-Class Knowledge Inside CNN

Donglai Wei, Bolei Zhou외 2명|arXiv (Cornell University)|2015. 07. 09.

Explainable Artificial Intelligence (XAI)참고 문헌 12인용 수 64

한 줄 요약

이 논문은 CNN 시각화를 향상시키기 위해 데이터 기반의 패치 사전을 제안하며, 완전히 연결된 레이어 내에서 반복 클래스 지식의 해석 가능한 역변환을 가능하게 한다. 공간적 레이아웃과 시각적 스타일을 기반으로 객체 변형을 모델링함으로써, 이 방법은 CNN이 반복 클래스 다양성을 계층적이고 앙상블 방식으로 어떻게 표현하는지 드러내며, 자연스러운 색상 일致성을 갖는 스타일 기반 이미지 검색 및 객체 보완과 같은 새로운 응용 가능성을 제공한다.

ABSTRACT

Convolutional Neural Network (CNN) has been successful in image recognition tasks, and recent works shed lights on how CNN separates different classes with the learned inter-class knowledge through visualization. In this work, we instead visualize the intra-class knowledge inside CNN to better understand how an object class is represented in the fully-connected layers. To invert the intra-class knowledge into more interpretable images, we propose a non-parametric patch prior upon previous CNN visualization models. With it, we show how different "styles" of templates for an object class are organized by CNN in terms of location and content, and represented in a hierarchical and ensemble way. Moreover, such intra-class knowledge can be used in many interesting applications, e.g. style-based image retrieval and style-based object completion.

연구 동기 및 목표

• 완전히 연결된 레이어 내에서 '오렌지' 또는 '수영장 테이블'과 같은 객체 클래스의 다양한 스타일과 공간적 레이아웃과 같은 반복 클래스 변형을 CNN이 어떻게 표현하는지 이해하기 위해.
• 기존의 CNN 시각화 방법이 비현실적인 색상 분포를 생성하고 집단 신경 경로 표현을 포착하지 못하는 한계를 해결하기 위해.
• 학습 데이터베이스에서 유래한 자연 이미지 통계를 활용하여 비모수적 패치 사전을 개발함으로써 특징 복원 및 클래스 시각화를 향상시키기 위해.
• 반복 클래스 지식이 완전히 연결된 레이어 전반에 걸쳐 계층적이고 앙상블 방식으로 인코딩되어 있음을 입증하기 위해.
• 학습된 반복 클래스 표현을 실용적 비전 작업에 적용하기 위해, 스타일 기반 이미지 검색 및 특정 객체 스타일이 지정된 이미지 보완을 포함하여.

제안 방법

• 자연 이미지 패치 데이터베이스 기반의 비모수적 패치 사전을 도입하여 CNN 특징 복원 및 클래스 시각화를 정규화함으로써, 더 자연스러운 시각적 현실감을 향상시키기 위해.
• 표준 파arametric CNN 시각화 목표를 수정하여, 생성된 이미지가 자연스러운 색상 및 질감 분포를 갖도록 유도하는 패치 사전 항목을 추가함.
• ImageNet 검증 세트의 실제 이미지에서 유사한 패치 수준의 유사성을 유지하면서 이미지 재구성 손실을 최적화하기 위해 경사 하강법을 사용함.
• 완전히 연결된 레이어 특징을 공간적 요소와 콘텐츠 요소로 분해하여, 위치 기반 및 스타일 기반 변형이 어떻게 인코딩되어 있는지 분석함.
• 패치 사전을 사용한 클래스별 특징 최적화를 통해 마스크된 영역만 업데이트함으로써, 이미지 보완에 학습된 스타일 표현을 적용함.
• 최종 레이어의 기울기 크기를 활용하여 핵심 객체 부분을 식별함으로써, 객체 수정 작업을 위한 자동 국지화를 가능하게 함.

실험 결과

연구 질문

• RQ1 CNN은 '오렌지'나 '수영장 테이블'과 같은 객체 클래스의 반복 클래스 변형을 완전히 연결된 레이어 전반에 걸쳐 어떻게 표현하는가?
• RQ2 기존의 CNN 시각화 방법이 비현실적인 전반적 색상 분포를 생성하는 이유는 무엇이며, 이를 어떻게 수정할 수 있는가?
• RQ3 특히 공간적 레이아웃과 시각적 스타일을 포함한 반복 클래스 지식은 완전히 연결된 레이어의 신경 경로 내에서 어떻게 조직되어 있는가?
• RQ4 학습된 반복 클래스 표현을 사용하여 특정 스타일을 가진 현실적인 이미지를 생성하거나 스타일 일致성을 갖는 객체 삽입을 통해 이미지를 보완할 수 있는가?
• RQ5 제안된 패치 사전는 이전 방법에 비해 CNN 특징 시각화의 현실감과 해석 가능성에서 어느 정도 향상되는가?

주요 결과

• 제안된 패치 사전는 풀 5 특징 복원에서 기존 최고 성능 대비 상대적 L2 재구성 오차를 0.45에서 0.32로 감소시켜 시각적 품질을 크게 향상시켰다.
• qualitative 비교를 통해 잡음이 줄어들고 현실감이 향상된 것으로 나타나, 더 자연스러운 색상 분포와 질감 일관성을 갖는 이미지를 생성함을 입증하였다.
• CNN은 반복 클래스 변형을 계층적이고 앙상블 방식으로 인코딩하며, 공간적 레이아웃과 시각적 스타일을 독립적으로 포착하는 별도의 구성 요소가 존재한다.
• 학습된 반복 클래스 지식는 스타일 기반 이미지 검색 및 객체 보완에 효과적으로 활용되며, 의미적 맥락에 기반해 다양한 객체 스타일을 장면에 삽입할 수 있다.
• 예를 들어, 페르시안 고양이의 털을 앙고라 스타일로 바꾸는 등의 객체 수정 작업은 마스크와 지정된 스타일만으로 성공적으로 수행되며, 이는 상향식 의미적 이해를 보여준다.
• 이 방법은 피드포워드 아키텍처 전반에 일반화되며, 5개의 합성곱 레이어와 3개의 완전히 연결된 레이어를 갖는 ImageNet으로 훈련된 CNN에 효과적으로 적용된다.