[논문 리뷰] Interpreting Convolutional Neural Networks Through Compression

Reza Abbasi-Asl, Bin Yu|arXiv (Cornell University)|2017. 11. 07.

Explainable Artificial Intelligence (XAI)참고 문헌 8인용 수 15

한 줄 요약

이 논문은 구조적 압축을 통해 합성곱 신경망(CNNs)을 해석하기 위해 분류 정확도 감소(Classification Accuracy Reduction, CAR) 기반의 필터 프루닝 방법을 제안한다. 정확도에 미치는 영향이 최소인 필터를 반복적으로 제거함으로써, 프루닝된 필터는 종종 시각적으로 중복되며, 예를 들어 색상에 민감한 필터일 수 있으나, 가장 중요한 필터는 형태에 민감한 것으로 드러난다. 주요 기여는 특정 이미지 클래스와 연결된 필터 중요도를 반영하는 클래스 기반 CAR 지수를 도입하여, 인간이 이해할 수 있는 방식으로 필터의 기능을 설명할 수 있도록 한다.

ABSTRACT

Convolutional neural networks (CNNs) achieve state-of-the-art performance in a wide variety of tasks in computer vision. However, interpreting CNNs still remains a challenge. This is mainly due to the large number of parameters in these networks. Here, we investigate the role of compression and particularly pruning filters in the interpretation of CNNs. We exploit our recently-proposed greedy structural compression scheme that prunes filters in a trained CNN. In our compression, the filter importance index is defined as the classification accuracy reduction (CAR) of the network after pruning that filter. The filters are then iteratively pruned based on the CAR index. We demonstrate the interpretability of CAR-compressed CNNs by showing that our algorithm prunes filters with visually redundant pattern selectivity. Specifically, we show the importance of shape-selective filters for object recognition, as opposed to color-selective filters. Out of top 20 CAR-pruned filters in AlexNet, 17 of them in the first layer and 14 of them in the second layer are color-selective filters. Finally, we introduce a variant of our CAR importance index that quantifies the importance of each image class to each CNN filter. We show that the most and the least important class labels present a meaningful interpretation of each filter that is consistent with the visualized pattern selectivity of that filter.

연구 동기 및 목표

• 모델의 파rameter 수가 많아 복잡한 CNN의 해석 문제를 해결하기 위해.
• 성능을 유지하면서도 해석 가능성을 향상시키는 구조적 압축 방법을 개발하기 위해.
• 정확도에 미치는 영향을 측정하여 분류에 가장 기여하는 필터를 특정하기 위해.
• 특정 이미지 카테고리와 필터 기능을 연결하는 클래스 기반 중요도 지수(CAR^c)를 도입하기 위해.
• CAR 기반 프루닝을 통해 시각적으로 중복되거나 기능적으로 의미 있는 필터를 드러내기 위해.

제안 방법

• 제거된 후 분류 정확도 감소(Classification Accuracy Reduction, CAR)를 기반으로 필터를 프루닝하는 탐욕적 구조적 압축 기법을 제안한다.
• 필터 중요도를 정의하기 위해, 필터를 제거했을 때 상위-1 정확도의 감소량을 기준으로 하며, 영향이 가장 적은 필터부터 프루닝 순서를 정한다.
• 성능 유지 목적으로 각 단계 후 재학습을 수행하는 반복적 프루닝 기법을 사용한다.
• 특정 필터 i가 레이어 L에서 제거되었을 때의 정확도 감소를 측정하는 변형인 CAR^c(i,L)를 도입한다. 이는 각 이미지 클래스 c에 대해 정확도 감소를 측정한다.
• 상위 활성화 패치를 사용하여 필터 패턴 선택성을 시각화하고, 높은/낮은 CAR^c 클래스와의 상관관계를 분석한다.
• 해석 가능성 향상을 위해 AlexNet과 LeNet에 적용하며, 초기 및 중간 수준의 합성곱 레이어에 집중한다.

실험 결과

연구 질문

• RQ1 CNN 내에서 기능적으로 중복되는 필터는 무엇이며, 압축을 통해 체계적으로 식별할 수 있는가?
• RQ2 CAR 기반의 필터 프루닝은 시각 패턴 선택성과 반영하는 해석 가능한 네트워크 구조를 제공하는가?
• RQ3 특정 이미지 클래스에 대한 의존성으로 필터 중요도를 의미 있게 해석할 수 있는가?
• RQ4 클래스 기반 CAR^c 지수는 필터의 시각 패턴 선택성과 어떻게 관련이 있는가?
• RQ5 CAR 기반 압축은 분류 정확도를 유지하면서 인간의 해석 가능성을 얼마나 잘 보존하는가?

주요 결과

• AlexNet의 첫 번째 레이어에서 상위 20개의 CAR 프루닝 필터 중 17개가 색상에 민감한 필터였으며, 이는 색상에 민감한 필터가 기능적으로 중복될 수 있음을 시사한다.
• AlexNet의 두 번째 레이어에서 상위 20개의 CAR 프루닝 필터 중 14개가 색상에 민감한 필터였으며, 이는 이러한 필터가 인식에 있어 덜 중요한 것으로 확인됨을 강화한다.
• CAR로 식별된 가장 중요한 필터는 타원형이나 선형 구조를 감지하는 형태에 민감한 필터이며, 이는 객체 인식의 요구와 일치한다.
• AlexNet의 레이어 5에서 CAR^c 값이 가장 높은 클래스들(예: 'steep arch bridge', 'soup bowl')은 필터가 활성화하는 패턴과 실제로 시각적으로 일치함을 확인하여, 클래스 의존성과 시각적 선택성 간의 일관성을 입증한다.
• 클래스 기반 CAR^c 지수는 각 필터에 대해 가장 높고 가장 낮은 의존성 클래스를 성공적으로 식별하여, 필터 기능에 대한 언어적이고 이해 가능한 설명을 제공한다.
• AlexNet의 두 번째 레이어에서 102개의 필터를 프루닝한 후에도 ImageNet의 37%에서 49%의 클래스에서 원래 네트워크와 정확도 차이가 3% 이내로 유지되었다.