[논문 리뷰] Network Dissection: Quantifying Interpretability of Deep Visual Representations

David Bau, Bolei Zhou외 3명|arXiv (Cornell University)|2017. 04. 19.

Cell Image Analysis Techniques인용 수 7

한 줄 요약

이 논문은 딥 뷰얼 표현의 해석 가능성(interpretability)을 측정하기 위해 각 은닉 유닛이 인간이 이해할 수 있는 시각적 개념과 얼마나 잘 일치하는지 측정하는 프레임워크인 네트워크 디시션(Network Dissection)을 소개한다. 이는 해석 가능성은 축에 따라 정렬된 성질이며, 학습 목표, 아키텍처 선택, 정규화 기법에 의해 향상될 수 있음을 드러내며, 분류 정확도를 넘어서 중요한 영향을 미친다.

ABSTRACT

We propose a general framework called Network Dissection for quantifying the interpretability of latent representations of CNNs by evaluating the alignment between individual hidden units and a set of semantic concepts. Given any CNN model, the proposed method draws on a broad data set of visual concepts to score the semantics of hidden units at each intermediate convolutional layer. The units with semantics are given labels across a range of objects, parts, scenes, textures, materials, and colors. We use the proposed method to test the hypothesis that interpretability of units is equivalent to random linear combinations of units, then we apply our method to compare the latent representations of various networks when trained to solve different supervised and self-supervised training tasks. We further analyze the effect of training iterations, compare networks trained with different initializations, examine the impact of network depth and width, and measure the effect of dropout and batch normalization on the interpretability of deep visual representations. We demonstrate that the proposed method can shed light on characteristics of CNN models and training methods that go beyond measurements of their discriminative power.

연구 동기 및 목표

• 딥 뷰얼 표현의 해석 가능성에 대한 일반적 프레임워크를 개발하는 것.
• 해석 가능한 은닉 유닛이 의미 있는 분리된 표현을 반영하는지, 아니면 특징 공간 정렬의 산물인지 조사하는 것.
• 학습 기법, 네트워크 아키텍처, 최적화 방법이 해석 가능한 유닛의 출현에 어떻게 영향을 미치는지 분석하는 것.
• 해석 가능성과 분류 성능 간의 상관관계가 있는지, 아니면 독립적인지 평가하는 것.
• 깊이, 너비, 배치 정규화, 드롭아웃, 학습 데이터가 해석 가능한 표현의 형성에 미치는 영향을 분석하는 것.

제안 방법

• 은닉 유닛을 CNN의 각 레이어에서 레이블링하기 위해 대규모이고 밀도 높은 시각적 개념 애너테이션 데이터셋인 브로덴(Broden)을 사용한다.
• 각 은닉 유닛에 대해 브로덴 이미지 전역에서 활성화 반응을 계산하고, 최대 활성화 또는 선형 프로빙을 통해 가장 관련성이 높은 의미적 개념을 식별한다.
• 유닛의 활성화 패턴과 의미적 개념 간의 일치도를 측정하여 해석 가능성의 정도를 정량화한다.
• 프레임워크는 어떤 사전 학습된 CNN에도 적용 가능하며, 모든 중간 합성곱 레이어의 유닛을 평가한다.
• 선형 서포트 벡터 머신(SVM)과 전이 학습을 사용하여 해석 가능한 유닛의 유용성을 후행 작업에서 검증한다.
• 특징 공간을 회전시켜 유연성 테스트를 수행하여, 해석 가능성은 축 기반 성질임을 입증한다.

실험 결과

연구 질문

• RQ1 CNN에서의 해석 가능성은 의미 있는 분리된 표현의 결과인지, 아니면 특징 공간 방향성에 기인한 산물인가?
• RQ2 감독 학습 대비 자기지도 학습과 같은 다양한 학습 목표는 해석 가능한 유닛의 출현에 어떻게 영향을 미치는가?
• RQ3 깊이, 너비, 배치 정규화, 드롭아웃 등의 아키텍처 선택은 해석 가능성에 어떻게 영향을 미치는가?
• RQ4 해석 가능한 검출기의 수는 후행 분류 성능과 상관관계가 있는가?
• RQ5 해석 가능성은 분류 정확도와 독립적으로 정량화하고 측정할 수 있는가?

주요 결과

• CNN에서 해석 가능한 유닛은 무작위가 아니며, 물체, 부분, 질감, 경관 등의 특정 의미적 개념에 대응한다.
• 해석 가능성은 축 기반 성질이다: 특징 공간을 회전시키면 해석 가능성은 손상되지만 분류 정확도에는 영향을 주지 않는다.
• ImageNet 대비 Places365에서 학습한 네트워크는 유사한 정확도를 기록함에도 불구하고 더 많은 고유한 물체 검출기 수를 보인다.
• AlexNet의 최종 합성곱 레이어(conv5)를 넓힐수록 고유 검출기 수와 총 검출기 유닛 수가 증가하지만, 1024개를 초과하면 수익 감소 현상이 나타난다.
• ImageNet에서 사전 학습된 ResNet152는 Places365에서 사전 학습된 ResNet152보다 고유 검출기 수가 적지만, 동작 인식 작업(action40)에서 더 높은 정확도를 기록한다. 이는 개념 적합성이 수치보다 더 중요하다는 것을 시사한다.
• 마지막 합성곱 레이어의 고유 물체 검출기 수와 후행 분류 정확도 사이에 정적인 상관관계가 존재하지만, 엄격한 단조성은 아니다.