[논문 리뷰] Distilling Critical Paths in Convolutional Neural Networks

Fuxun Yu, Zhuwei Qin외 1명|arXiv (Cornell University)|2018. 10. 28.

Advanced Neural Network Applications참고 문헌 5인용 수 20

한 줄 요약

이 논문은 고수준 합성곱 레이어의 CNN에서 가장 클래스에 특화된 뉴런만을 식별하고 유지하는 방법인 핵심 경로 distillation을 제안한다. 이는 재학습 없이도 극적인 모델 압축을 가능하게 한다. 필터 활성화, 기울기, 시각화 분석을 통해 각 클래스에 고유한 '핵심 경로'를 규명함으로써, 뉴런 수를 90% 감소시키고 모델 크기를 11.4MB로 줄였으며, one-vs-all 작업에서 평균 98.6%의 참 양성률을 달성하였다.

ABSTRACT

Neural network compression and acceleration are widely demanded currently due to the resource constraints on most deployment targets. In this paper, through analyzing the filter activation, gradients, and visualizing the filters' functionality in convolutional neural networks, we show that the filters in higher layers learn extremely task-specific features, which are exclusive for only a small subset of the overall tasks, or even a single class. Based on such findings, we reveal the critical paths of information flow for different classes. And by their intrinsic property of exclusiveness, we propose a critical path distillation method, which can effectively customize the convolutional neural networks to small ones with much smaller model size and less computation.

연구 동기 및 목표

• 고수준 CNN 필터에서 클래스에 특화된 고유한 정보 흐름 경로가 존재하는지 조사하기.
• 작업별 기여도를 기반으로 비필수 필터를 선택적으로 제거하여 CNN을 압축하는 방법 개발하기.
• 재학습 없이도 단일 클래스 결정 경로를 추출함으로써 효율적이고 작업에 특화된 모델 배포 가능하게 하기.
• 활성화, 기울기, 시각화 분석을 통해 핵심 경로가 식별 가능하다는 것을 입증함으로써 구조적 압축 가능하게 하기.

제안 방법

• 클래스 간 평균 절대 활성도를 사용해 필터 반응성을 측정함으로써 핵심 뉴런 식별하기.
• 1차 테일러 근사법을 통해 기여도 지수를 계산하여 특정 클래스 로짓에 대한 필터 영향도 정량화하기.
• 활성도 최대화(AM) 시각화를 활용해 필터의 기능성과 클래스 선호도를 해석하고 검증하기.
• 활성도, 기여도 지수, AM 결과를 결합하여 각 클래스별 고유한 핵심 경로 존재 여부를 상호 검증하기.
• 평균 활성도와 기여도 지수의 곱을 기반으로 distillation을 위한 필터 선택하기. 이때 보존 비율(예: 10%)이 압축 정도를 제어함.
• 모든 비핵심 필터를 고수준 레이어에서 제거하고, 로짓 레이어의 편향을 0으로 설정한 후, one-vs-all 분류를 위한 디스틸리드 네트워크 배포하기.

실험 결과

연구 질문

• RQ1 고수준 CNN 레이어의 필터들이 특정 클래스 또는 소수의 클래스에만 고유하게 학습된 특징을 학습하는가?
• RQ2 특정 클래스의 정보 흐름이 고유하고 최소한의 뉴런 집합(즉, '핵심 경로')을 따라 추적될 수 있는가?
• RQ3 클래스에 특화된 뉴런의 독점성이 재학습 없이 효과적인 모델 디스틸리션을 가능하게 하는가?
• RQ4 핵심 경로 디스틸리션은 one-vs-all 작업에서 높은 분류 정확도를 유지하면서도 상당한 모델 압축을 달성할 수 있는가?

주요 결과

• 각 클래스의 핵심 경로는 고수준 합성곱 레이어에서 매우 전문화된, 클래스에 독점적인 뉴런의 소수 집합으로 구성된다.
• 고수준 레이어의 필터는 강한 클래스 선호도를 보이며, 활성도 표준편차가 상위 레이어로 갈수록 증가함으로써 功能 특화가 이루어지고 있음을 나타낸다.
• 평균 활성도, 기여도 지수, AM 시각화의 조합을 통해 각 클래스별 핵심 경로 존재 여부가 상호 검증되었다.
• 마지막 여섯 개의 합성곱 레이어에서 10%의 필터 보존 비율을 적용한 디스틸리드 모델은 모든 one-vs-all 작업에서 평균 98.6%의 참 양성률을 달성하였다.
• 원본 59.0 MB 모델 크기를 11.4 MB로 줄여 고수준 뉴런 수를 90% 감소시켰다.
• 재학습 없이도 모든 one-vs-all 작업에서 평균 11.0%의 참 음성률을 달성하였다.