[논문 리뷰] Understanding Deep Architectures by Visual Summaries

Marco Carletti, Marco Godi외 3명|arXiv (Cornell University)|2018. 01. 27.

Visual Attention and Saliency Detection참고 문헌 23인용 수 4

한 줄 요약

이 논문은 동일한 클래스의 여러 이미지 간에 주목할 만한 선명한 영역을 식별하고 군집화하여 딥 네트워크가 학습한 의미적 부분을 드러내는 새로운 시각화 프레임워크를 제안한다. 날카운 사전 최적화와 의미 흐름 기반 군집화를 조합함으로써, 네트워크 성능와 상관관계가 있으며, 요약 기반 SVM 특화를 통해 정확도를 향상시키는 해석 가능한 시각적 요약을 생성한다. ImageNet에서 상위-1 정확도를 1.08% 향상시킨다.

ABSTRACT

In deep learning, visualization techniques extract the salient patterns exploited by deep networks for image classification, focusing on single images; no effort has been spent in investigating whether these patterns are systematically related to precise semantic entities over multiple images belonging to a same class, thus failing to capture the very understanding of the image class the network has realized. This paper goes in this direction, presenting a visualization framework which produces a group of clusters or summaries, each one formed by crisp salient image regions focusing on a particular part that the network has exploited with high regularity to decide for a given class. The approach is based on a sparse optimization step providing sharp image saliency masks that are clustered together by means of a semantic flow similarity measure. The summaries communicate clearly what a network has exploited of a particular image class, and this is proved through automatic image tagging and with a user study. Beyond the deep network understanding, summaries are also useful for many quantitative reasons: their number is correlated with ability of a network to classify (more summaries, better performances), and they can be used to improve the classification accuracy of a network through summary-driven specializations.

연구 동기 및 목표

• 딥 네트워크가 동일한 클래스의 여러 이미지에서 일관되게 특정 의미적 부분을 활용하는지에 대한 체계적 분석이 부족한 문제를 해결하기 위해.
• 단일 이미지 분석에 국한되지 않고, 클래스의 이미지 간에 일반화되는 시각적 패턴을 식별하는 시각화 방법을 개발하기 위해.
• 학습된 시각적 요약의 수와 네트워크 분류 성능 사이의 관계를 정량화하기 위해.
• 발견된 시각적 요약을 기반으로 분류기를 특화시켜 모델 성능을 향상시키기 위해.

제안 방법

• 분류 결정에 가장 기여하는 영역를 강조하기 위해 날카운 이진 사전 마스크를 생성하기 위해 희박 최적화를 적용한다.
• 동일한 클래스의 이미지 간에 이러한 마스크의 연결된 성분을 국소적 특징으로 사용하여 군집화한다.
• 공간적 및 의미적으로 유사한 영역을 서로 다른 이미지에서 그룹화하기 위해 의미 흐름 유사도 측정을 사용한 유사도 전파를 활용한다.
• 주목할 만한 영역의 군집으로서 시각적 요약을 생성하며, 각 요약은 객체 클래스의 별개의 의미적 부분(예: 코, 꼬리, 다리)을 나타낸다.
• 각 요약에 속하는 이미지에 대해 선형 SVM을 훈련시어 해당 부분에 대한 분류를 특화시킨다.
• 원래 네트워크의 소프트맥스 출력과 SVM 점수를 볼록加權 합으로 조합하여 전체 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 동일한 클래스의 여러 이미지에서 일관되게 같은 의미적 부분(예: 코, 눈, 꼬리)을 활용하는가?
• RQ2 다수의 이미지에서 유도된 시각적 요약은 단일 이미지 사전 지도보다 더 해석 가능하고 정량적으로 측정 가능한 네트워크 행동 설명을 제공할 수 있는가?
• RQ3 학습된 시각적 요약의 수와 딥 네트워크의 분류 정확도 사이에 상관관계가 있는가?
• RQ4 발견된 요약을 사용하여 사전 훈련된 네트워크의 분류 성능을 향상시킬 수 있는가?

주요 결과

• 시각적 요약의 수는 네트워크 성능과 정비례한다: AlexNet(평균 6개 요약)에서 ResNet(9개 요약)으로 갈수록 분류 정확도가 동시에 증가한다.
• GoogleNet은 '픽업' 클래스에 대해 9개의 요약을 학습하는 반면, AlexNet은 오직 6개뿐이므로, 더 풍부한 부분 수준 이해를 통해 GoogleNet의 뛰어난 성능을 시각적으로 설명할 수 있다.
• 사용자 연구 결과 요약 태그에 대해 높은 평가자 간 일치도(평균 μU = 0.35)를 보이며, 요약이 사용자가 신뢰성 있게 식별할 수 있는 의미적이고 세밀한 부분을 잘 포착하고 있음을 확인한다.
• 원래 네트워크 예측과 시각적 요약 기반 SVM의 점수를 조합함으로써 ImageNet에서 상위-1 정확도를 1.08% 향상시켰다.
• AlexNet이 잘못 분류한 이미지들이 요약 기반 부스팅을 적용한 후에 정확하게 재분류됨을 확인하여, 실패 복구에 실용적인 유용성을 입증했다.
• 부드러운 마스크보다 날카운 마스크가 교란에 의해 더 높은 분류 손실을 유도함으로써, 사전 지도 탐지에서 희박성의 효과성을 검증했다.