[논문 리뷰] Structural Compression of Convolutional Neural Networks

Reza Abbasi-Asl, Bin Yu|arXiv (Cornell University)|2017. 05. 20.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 22

한 줄 요약

이 논문은 분류 정확도 기여도를 기반으로 컨볼루션 필터를 프루닝하는 탐욕적 구조 압축 방법인 CAR를 제안한다. 이는 성능을 유지하면서 모델 크기를 크게 줄이며, 기능적으로 불필요한 필터(예: 색상 기반 필터)를 제거함으로써 더 해석 가능한 CNN을 제공한다. 이를 통해 압축된 네트워크가 필터 다양성을 유지하고, 시각적 및 클래스 기반 분석을 통해 인간이 이해할 수 있도록 한다.

ABSTRACT

Deep convolutional neural networks (CNNs) have been successful in many tasks in machine vision, however, millions of weights in the form of thousands of convolutional filters in CNNs makes them difficult for human intepretation or understanding in science. In this article, we introduce CAR, a greedy structural compression scheme to obtain smaller and more interpretable CNNs, while achieving close to original accuracy. The compression is based on pruning filters with the least contribution to the classification accuracy. We demonstrate the interpretability of CAR-compressed CNNs by showing that our algorithm prunes filters with visually redundant functionalities such as color filters. These compressed networks are easier to interpret because they retain the filter diversity of uncompressed networks with order of magnitude less filters. Finally, a variant of CAR is introduced to quantify the importance of each image category to each CNN filter. Specifically, the most and the least important class labels are shown to be meaningful interpretations of each filter.

연구 동기 및 목표

• CNN의 필터 수를 줄이되 높은 분류 정확도를 유지하는 구조적 압축 기법을 개발하는 것.
• 기능적으로 불필요한 필터(예: 색상 기반 또는 시각적으로 중복되는 필터)를 제거하여 CNN의 해석 가능성을 향상시키는 것.
• 필터 다양성을 유지하고 필터 선택성의 시각화를 가능하게 하여 인간이 모델 결정 과정을 이해할 수 있도록 하는 것.
• CAR 인덱스의 변형을 사용해 각 이미지 카테고리별로 필터 중요도를 정량화하여, 필터 행동에 대한 해석 가능한 통찰을 제공하는 것.
• 특히 과학적 및 의료 분야에서의 응용을 고려할 때, 활성치나 가중치 프루닝보다 필터 프루닝이 더 해석 가능하다는 것을 보여주는 것.

제안 방법

• 분류 정확도 기여도를 기반으로 필터를 순위 매기는 탐욕적 필터 프루닝 알고리즘인 CAR(분류 정확도 감소)를 제안한다.
• 각 필터를 제거했을 때의 상위-1 정확도 감소를 전방 계산을 통해 계산하고, 영향이 가장 적은 필터를 프루닝 대상으로 선정한다.
• 두 단계 압축을 적용한다: 첫 번째로 CAR 프루닝을 통해 필터 수를 줄이고, 두 번째로 딥 압축을 통해 정밀도 조정 및 가중치 프루닝을 수행한다.
• $CAR^{c}$를 도입한다. 이는 필터를 제거했을 때 각 이미지 클래스의 분류 정확도 변화를 측정하는 변형 인덱스로, 클래스 기반의 필터 중요도 분석을 가능하게 한다.
• 상위 활성화 이미지 패치를 사용해 필터 선택성을 시각화하고, 고/저 $CAR^{c}$ 클래스와의 상관관계를 분석하여 해석 가능성의 타당성을 검증한다.
• 재학습 없이도 효율적인 압축을 가능하게 하는 체계적인 프루닝 파이프라인을 활용하며, 사전 학습된 모델을 기반으로 한다.

실험 결과

연구 질문

• RQ1 정확도 기여도에 기반한 탐욕적 필터 프루닝 방법이 압축되고 해석 가능한 CNN을 도출할 수 있는가?
• RQ2 압축된 CNN에서 프루닝된 필터들이 의미 있는 다각적인 기능을 유지하고 있는가, 아니면 중복된 기능만 남아 있는가?
• RQ3 각 필터의 중요도가 특정 이미지 카테고리에 미치는 영향을 의미 있게 해석할 수 있는가?
• RQ4 가중치 수준의 압축과 비교했을 때, 필터 프루닝을 통한 구조적 압축은 해석 가능성과 성능 면에서 어떻게 다른가?
• RQ5 $CAR^{c}$ 인덱스가 다양한 이미지 카테고리에서 필터 행동에 대해 일관되고 해석 가능한 통찰을 제공할 수 있는가?

주요 결과

• CAR 프루닝은 AlexNet에서 정확도 손실를 최소화하면서 8배에서 21배의 압축 비율을 달성하여 구조적 압축의 높은 효율성을 입증했다.
• 프루닝된 필터들은 특히 색상 기반 필터에서 뚜렷한 시각적 중복성을 보였으며, 이는 ImageNet 카테고리에서 형태 기반 특징이 더 중요하다는 것을 시사한다.
• 압축된 네트워크의 필터들은 다양한 기능을 유지하여, 필터 수가 크게 감소했음에도 원래 모델의 해석 가능성을 그대로 유지했다.
• $CAR^{c}$ 인덱스는 시각 패턴 선택성과 강한 일관성을 보였다. 특정 클래스에 대해 높은 $CAR^{c}$를 가지는 필터들은 타원형 형태나 새의 머리 모양과 유사한 패턴을 가진 패치에서 활성화되었다.
• 어느 정도의 경우에서 압축된 네트워크가 원본보다 성능이 뛰어났으며, 음수인 CAR 값은 프루닝 후 정확도 향상을 의미하여, 노이즈나 중복된 필터 제거의 효과를 시사한다.
• 이 방법은 특정 이미지 카테고리와의 연결을 통해 후행 해석 가능성을 제공하며, 분류 과정에서 필터의 역할을 의미 있게 이해할 수 있는 방법을 제공한다.