[논문 리뷰] Interpreting CNN Knowledge via an Explanatory Graph

Quanshi Zhang, Ruiming Cao외 3명|arXiv (Cornell University)|2017. 08. 05.

Advanced Neural Network Applications참고 문헌 32인용 수 32

한 줄 요약

이 논문은 사전 훈련된 CNN의 특징 맵으로부터 객체 부분 패턴을 분리하여 각 부분을 노드로 표현하고, 공활성 및 공간적 관계를 간선을 통해 인코딩하는 비지도 학습 방법을 제안한다. 이 방법은 부분 레이블이 없이도 최신 기술 수준의 부분 위치 특정 성능을 달성하며, CNN 특징 맵으로부터 안정적이고 이식 가능한 부분 검출기를 학습함으로써 지도 학습 기반 방법을 능가한다.

ABSTRACT

This paper learns a graphical model, namely an explanatory graph, which reveals the knowledge hierarchy hidden inside a pre-trained CNN. Considering that each filter in a conv-layer of a pre-trained CNN usually represents a mixture of object parts, we propose a simple yet efficient method to automatically disentangles different part patterns from each filter, and construct an explanatory graph. In the explanatory graph, each node represents a part pattern, and each edge encodes co-activation relationships and spatial relationships between patterns. More importantly, we learn the explanatory graph for a pre-trained CNN in an unsupervised manner, i.e., without a need of annotating object parts. Experiments show that each graph node consistently represents the same object part through different images. We transfer part patterns in the explanatory graph to the task of part localization, and our method significantly outperforms other approaches.

연구 동기 및 목표

• 사전 훈련된 CNN 내에 숨겨진 지식 계층을 밝혀내기, 특히 객체 부분과 같은 중위 수준의 시각적 패턴의 조직 방식을 이해하기.
• 부분 레이블이 필요 없이 단일 CNN 필터의 특징 맵으로부터 다중 객체 부분 패턴을 분리하기.
• 그래프 구조를 사용하여 레이어 간 부분 패턴 간의 공활성 및 공간적 관계를 모델링하기.
• 하류 작업(예: 부분 위치 특정)을 위한 이식 가능하고 해석 가능한 CNN 지식 표현을 생성하기.
• 완전히 비지도 설정에서 학습된 부분 패턴의 해석 가능성, 안정성, 이식 가능성 평가하기.

제안 방법

• 사전 훈련된 CNN의 각 합성곱 레이어에서의 특징 맵을 분석하여 설명 그래프를 학습하며, 각 필터의 출력을 부분 패턴의 혼합으로 간주한다.
• 비지도 클러스터링을 적용하여 각 필터의 특징 맵 내에서 구분되는 부분 패턴을 식별하고, 각 클러스터를 그래프의 노드로 할당한다.
• 이웃하는 레이어의 노드 간에 공활성 통계 및 패턴 활성화의 공간적 근접도를 기반으로 간선을 형성한다.
• 노드의 위치를 특정 특징 맵 위치에 고정하지 않아, 부분 패턴이 다양한 이미지 위치에서 민첩하게 나타나도록 한다.
• 그래프 노드의 활성 패턴을 사용하여 영역을 재구성함으로써 학습된 부분 의미를 시각화하고 검증한다.
• 이식 가능성을 평가하기 위해 그래프 노드를 부분 이름과 연관지워 부분 위치 특정 작업에서 검출기로 사용한다.

실험 결과

연구 질문

• RQ1 비지도 방식으로 단일 CNN 필터의 특징 맵에서 다중 객체 부분 패턴을 자동으로 발견하고 분리할 수 있는가?
• RQ2 사전 훈련된 CNN에 인코딩된 지식 계층의 구조는 무엇이며, 이를 부분 패턴의 그래프로 어떻게 표현할 수 있는가?
• RQ3 학습된 부분 패턴은 다양한 이미지와 객체 인스턴스 간에 얼마나 안정적이고 일관된가?
• RQ4 부분 레이블 없이도 학습된 부분 패턴을 하류 작업(예: 부분 위치 특정)으로 효과적으로 이식할 수 있는가?
• RQ5 비지도 부분 패턴 추출의 성능는 부분 위치 특정에서 지도 학습 방법과 비교해 어떻게 되는가?

주요 결과

• 설명 그래프는 단일 필터의 특징 맵에서 다중 객체 부분 패턴을 성공적으로 분리하며, 각 노드가 다양한 이미지에서 동일한 의미적 부분을 일관되게 표현한다.
• CUB200-2011 데이터셋에서 정규화된 거리 값 0.1250을 달성하여 지도 학습 기반 기준인 supervised-AOG(0.1344)를 능가하는 부분 위치 특정 성능을 보였다.
• Pascal VOC Part 데이터셋에서는 정규화된 거리 값 0.1765를 기록하여 최고 성능을 보인 지도 학습 기반 기준과 동일한 성능을 달성했다.
• 비지도 접근 방식은 일부 지도 학습 방법을 뛰어넘어 부분 위치 특정에서 성능을 높였으며, 학습된 패턴의 강력한 이식 가능성 잠재력을 보여주었다.
• 노이즈가 많은 활성화를 걸러내고 이를 일관된 그래프 구조로 정리함으로써, CNN 특징 표현의 안정성과 해석 가능성을 크게 향상시켰다.
• 설명 그래프를 통해 부분 패턴을 시각화하고 영역을 재구성할 수 있었으며, 이는 학습된 노드의 의미적 명확성과 일관성을 확인한다.