[논문 리뷰] Interpreting Deep Visual Representations via Network Dissection

Bolei Zhou, David Bau외 2명|arXiv (Cornell University)|2017. 11. 15.

Explainable Artificial Intelligence (XAI)참고 문헌 9인용 수 45

한 줄 요약

이 논문은 깊이 있는 컨volution 신경망을 정량적으로 해석하기 위해 각 은닉 유닛을 의미 있는 시각적 개념(예: 물체, 질감, 색상)으로 레이블링하는 Network Dissection 기법을 소개한다. Broden라는 밀도적으로 애너테이션된 데이터셋과 유닛 활성화를 정렬함으로써, 이 방법은 랜덤 기저에 비해 깊이 있는 표현이 훨씬 더 해석 가능하다는 것을 드러내며, 아키텍처, 학습 방식, 하이퍼파라미터에 따라 해석 가능성의 변화를 보여준다.

ABSTRACT

The success of recent deep convolutional neural networks (CNNs) depends on learning hidden representations that can summarize the important factors of variation behind the data. However, CNNs often criticized as being black boxes that lack interpretability, since they have millions of unexplained model parameters. In this work, we describe Network Dissection, a method that interprets networks by providing labels for the units of their deep visual representations. The proposed method quantifies the interpretability of CNN representations by evaluating the alignment between individual hidden units and a set of visual semantic concepts. By identifying the best alignments, units are given human interpretable labels across a range of objects, parts, scenes, textures, materials, and colors. The method reveals that deep representations are more transparent and interpretable than expected: we find that representations are significantly more interpretable than they would be under a random equivalently powerful basis. We apply the method to interpret and compare the latent representations of various network architectures trained to solve different supervised and self-supervised training tasks. We then examine factors affecting the network interpretability such as the number of the training iterations, regularizations, different initializations, and the network depth and width. Finally we show that the interpreted units can be used to provide explicit explanations of a prediction given by a CNN for an image. Our results highlight that interpretability is an important property of deep neural networks that provides new insights into their hierarchical structure.

연구 동기 및 목표

• 깊이 있는 컨volution 신경망의 개별 유닛을 해석하기 위한 확장 가능하고 정량적인 방법을 개발하기 위해.
• 다양한 네트워크 아키텍처와 학습 설정 간에 깊이 있는 시각적 표현의 해석 가능성 측정 및 비교를 위해.
• 감독 없이도 분리 가능하고 의미 있는 표현이 깊이 있는 네트워크에 어떻게 그리고 얼마나 나타나는지 조사하기 위해.
• 학습 동역학, 정규화, 네트워크 깊이/너비가 학습된 특징의 해석 가능성에 어떤 영향을 미치는지 평가하기 위해.
• 해석된 유닛이 개별 CNN 예측에 대해 명시적이고 국소적인 설명을 제공할 수 있음을 보여주기 위해.

제안 방법

• 해석을 위한 시각적 의미 개념을 정의하기 위해 대규모 밀도적으로 애너테이션된 데이터셋(Broden)을 사용한다.
• Broden 내 개념 마스크와 유닛 활성화 맵 간의 교차율(Intersection-over-Union, IoU)을 통해 유닛의 해석 가능성 정량화한다.
• 특정 개념에 선택적으로 반응하는 유닛을 식별하기 위해 임계값 τ를 적용하며, 더 좁은 임계값은 더 세밀한 선택성을 드러낸다.
• 모든 Broden 개념에 대해 최대 IoU를 기반으로 각 유닛에 가장 잘 맞는 개념을 식별한다.
• 유닛 활성화 맵을 시각화하고 실제 개념 마스크와 겹쳐보며 정렬을 검증한다.
• 해석된 유닛을 사용해 예측에 기여하는 개념을 강조함으로써 개별 예측을 설명하는 시각화 지도를 생성한다.

실험 결과

연구 질문

• RQ1 깊이 있는 CNN의 개별 은닉 유닛이 물체, 질감, 색상과 같은 해석 가능한 시각적 개념과 얼마나 잘 대응하는가?
• RQ2 다양한 네트워크 아키텍처(예: AlexNet, ResNet)와 학습 작업(예: ImageNet, Places) 간에 깊이 있는 표현의 해석 가능성은 어떻게 변화하는가?
• RQ3 학습 하이퍼파라미터(예: 가중치 감쇠, 드롭아웃, 배치 정규화, 학습 깊이/너비)는 해석 가능한 유닛의 출현에 어떤 영향을 미치는가?
• RQ4 해석된 유닛을 사용해 개별 CNN 예측에 대해 충실하고 국소적인 설명을 생성할 수 있는가?
• RQ5 해석 가능성은 깊이 있는 표현의 내재적 성질인가, 아니면 데이터와 최적화 선택에 민감한가?

주요 결과

• Network Dissection는 다양한 아키텍처에서 해석 가능한 유닛을 성공적으로 식별하였으며, '말', '그림', '사람', '강'과 같은 특정 개념을 감지하는 유닛을 발견했다.
• 해석 가능성은 축에 따라 정렬된 성질이다: 특징 공간을 회전시키면 해석 가능성은 손상되지만 분류 정확도에는 영향을 주지 않는다.
• 더 좁은 임계값(τ = 0.005)은 세밀한 개념 선택성을 드러내며, 더 넓은 임계값은 ' browm 색상'이나 '질감'과 같은 일반적인 개념을 유도한다.
• 드롭아웃과 배치 정규화와 같은 정규화 기법은 해석 가능한 유닛의 수를 감소시켜, 내성성과 해석 가능성 사이의 상충관계를 시사한다.
• 중간층이 가장 해석 가능한 유닛을 포함하고 있으며, 더 깊은 층은 더 작업 특화되고 의미적으로 일반화되지 않은 감지기들을 보여준다.
• 해석된 유닛을 사용해 예측에 대해 국소적이고 개념 기반의 설명을 생성할 수 있으며, 정확한 예측은 관련 감지기들에 의해 설명되고, 잘못된 예측은 유사하거나 잘못된 감지기 활성화에 의해 설명된다.