[논문 리뷰] Understanding Deep Architectures by Interpretable Visual Summaries

Marco Carletti, Marco Godi외 2명|arXiv (Cornell University)|2018. 01. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 3

한 줄 요약

이 논문은 깊이 학습 네트워크가 분류에 일관되게 사용하는 주목할 만한 이미지 영역을 군집화하여 이해할 수 있고 의미가 있는 요약을 생성하는 시각화 프레임워크를 제안한다. 희소 최적화와 프로포절 플로우 기반 유사도를 사용하여, 로빈 이미지에서 머리, 날개, 꼬리와 같은 구분 가능한 부분을 식별하고 군집화함으로써 명확하고 보편적인 설명을 가능하게 하며, 아울러 GoogleNet의 AlexNet 대비 뛰어난 부분 커버리지 능력을 드러낸다.

ABSTRACT

A consistent body of research investigates the recurrent visual patterns exploited by deep networks for object classification with the help of diverse visualization techniques. Unfortunately, no effort has been spent in showing that these techniques are effective in leading researchers to univocal and exhaustive explanations. This paper goes in this direction, presenting a visualization framework owing to a group of clusters or summaries, each one formed by crisp image regions focusing on a particular part that the network has exploited with high regularity to classify a given class. In most of the cases, these parts carry a semantic meaning, making the explanation simple and universal. For example, the method suggests that AlexNet, when classifying the ImageNet class robin, is very sensible to the patterns of the head, the body, the legs, the wings and the tail, providing five summaries where these parts are consistently highlighted. The approach is composed by a sparse optimization step providing sharp image masks whose perturbation causes high loss in the classification. Regions composing the masks are then clustered together by means of a proposal flow-based similarity score, that associates visually similar patterns of diverse objects which are in corresponding positions. The final clusters are visual summaries easy to be interpreted, as found by the very first user study of this kind. The summaries can be also used to compare different architectures: for example, the superiority of GoogleNet w.r.t. AlexNet is explained by our approach since the former gives rise to more summaries, indicating its ability in capturing a higher number of diverse semantic parts.

연구 동기 및 목표

• 딥 네트워크의 물체 분류 결정에 대해 일관되고 철저하며 해석 가능한 설명이 부족한 문제를 해결하기 위해.
• 분류에 의존하는 네트워크의 부분을 통합적이고 인간이 읽을 수 있는 요약으로 생성하는 시각화 프레임워크를 개발하기 위해.
• 네트워크 아키텍처 간 비교 분석을 가능하게 하기 위해, 네트워크가 집중하는 의미적 부분의 다양성과 수를 정량화하고 시각화하기 위해.
• 사용자 연구를 통해 방법이 보편적으로 해석 가능하고 의미가 있는 설명을 생성함을 검증하기 위해.

제안 방법

• 분류 손실이 크게 증가하는 영역을 식별하기 위해, 희소 최적화를 적용하여 날카로운 이미지 마스크를 생성함.
• 프로포절 플로우 기반 유사도 점수를 사용하여 서로 다른 이미지 간에 시각적으로 유사하고 공간적으로 대응하는 영역을 군집화함.
• 이러한 영역을 일관된 요약으로 군집화하여, 특정 클래스에 대해 자주 사용되는 의미적 부분(예: 머리, 날개 등)을 대표함.
• 각 군집이 객체의 명확하고 의미가 있는 부분을 강조하는 해석 가능한 시각적 요약을 생성함.
• 군집의 수와 다양성을 활용하여 네트워크 아키텍처 간 비교를 가능하게 함(예: AlexNet 대비 GoogleNet).
• 사용자 연구를 통해 요약의 명확성과 보편성을 입증함으로써 해석 가능성 검증

실험 결과

연구 질문

• RQ1 딥 네트워크의 의사결정은 주목할 만한 이미지 부분의 일관되고 해석 가능한 시각적 요약을 통해 설명될 수 있는가?
• RQ2 식별된 시각적 요약은 보편적으로 인식 가능한 의미적 객체 부분과 일치하는가?
• RQ3 다른 딥 아키텍처는 객체의 다양한 의미적 부분에 집중하는 데 얼마나 다른 능력을 갖는가?
• RQ4 제안된 방법은 다양한 이미지 클래스에 걸쳐 정밀하고 해석 가능한 요약을 생성할 수 있는가?

주요 결과

• 이 방법은 AlexNet과 같은 네트워크가 로빈을 분류하는 데 사용하는 의미적 부분(예: 머리, 몸통, 날개, 다리, 꼬리)을 성공적으로 식별하고 군집화함.
• 첫 사용자 연구를 통해 확인된 바와 같이, 시각적 요약은 해석 가능하고 보편적으로 이해 가능함.
• GoogleNet은 AlexNet보다 더 많은 구분 가능한 시각적 요약을 생성함으로써, 더 다양한 의미적 부분에 집중하는 데 뛰어난 능력을 보임.
• 이 프레임워크를 통해 네트워크 아키텍처 간 직접 비교가 가능해지며, 분류 과정에서 집중하는 부분의 수와 의미적 일관성의 정량화 가능함.