[논문 리뷰] CNNPruner: Pruning Convolutional Neural Networks with Visual Analytics

Li Guan, Junpeng Wang외 4명|arXiv (Cornell University)|2020. 09. 08.

Human Pose and Action Recognition참고 문헌 33인용 수 7

한 줄 요약

CNN Pruner는 필터 중요도 메트릭인 불안정성과 민감도를 활용하고 상호작용 가능한 시각화 기능을 제공함으로써 딥러닝 전문가가 순차적으로 컨volutional 신경망(CNN) 프루닝 계획을 설계하고 개선할 수 있도록 해주는 시각적 분석 시스템이다. 모델 통계, 필터 시각화, 인스턴스 수준 분석으로부터 실시간 피드백을 바탕으로 사용자가 프루닝 전략을 반복적으로 조정할 수 있어, 통제된 사례 연구에서 고정 임계값 기반의 자동화된 방법보다 프루닝 효율성과 정확도의 상호 보완적 관계를 더 잘 극복한다.

ABSTRACT

Convolutional neural networks (CNNs) have demonstrated extraordinarily good performance in many computer vision tasks. The increasing size of CNN models, however, prevents them from being widely deployed to devices with limited computational resources, e.g., mobile/embedded devices. The emerging topic of model pruning strives to address this problem by removing less important neurons and fine-tuning the pruned networks to minimize the accuracy loss. Nevertheless, existing automated pruning solutions often rely on a numerical threshold of the pruning criteria, lacking the flexibility to optimally balance the trade-off between model size and accuracy. Moreover, the complicated interplay between the stages of neuron pruning and model fine-tuning makes this process opaque, and therefore becomes difficult to optimize. In this paper, we address these challenges through a visual analytics approach, named CNNPruner. It considers the importance of convolutional filters through both instability and sensitivity, and allows users to interactively create pruning plans according to a desired goal on model size or accuracy. Also, CNNPruner integrates state-of-the-art filter visualization techniques to help users understand the roles that different filters played and refine their pruning plans. Through comprehensive case studies on CNNs with real-world sizes, we validate the effectiveness of CNNPruner.

연구 동기 및 목표

• 고정된 수치 임계값에 의존하는 자동화된 CNN 프루닝 방법의 한계를 해결하여 모델 크기와 정확도 사이의 최적화된 트레이드오프를 달성하기 위해.
• 일반적으로 투명도가 낮고 최적화하기 어려운 반복적 프루닝 및 피니팅 파이프라인의 투명성과 제어 가능성을 향상시키기 위해.
• 도메인 전문가가 실시간으로 필터의 역할을 이해하고, 모델 동작을 진단하며, 프루닝 전략을 개선할 수 있도록 상호작용 가능한 시각적 도구를 제공하기 위해.
• 프루닝 과정에서 열악해지고 향상된 데이터 인스턴스를 체계적으로 식별하고 분석함으로써 모델의 해석 가능성과 강건성을 향상시키기 위해.
• 사용자가 목표로 하는 모델 크기나 정확도를 설정하고, 이를 바탕으로 유연하고 목표 중심의 프루닝 전략을 조정할 수 있도록 지원하기 위해.

제안 방법

• CNN Pruner는 프루닝 결정을 안내하기 위해 새로운 두 가지 필터 중요도 메트릭인 불안정성과 민감도를 도입하여, 필터의 구조적 분석과 활성화 기반 분석을 통합한다.
• 시스템은 반복 단계 동안 여러 프루닝 계획을 추적하고 비교할 수 있는 트리 뷰를 제공하여 버전 관리 및 상호작용 가능한 재처리를 가능하게 한다.
• 통계 뷰는 손실/정확도 변동, 복구 능력, 복구 비용을 시각화하여 사용자가 모델의 안정성을 평가하고 프루닝 깊이를 조정하는 데 도움을 준다.
• 모델 뷰는 불안정성과 민감도 메트릭을 통합하고 상호작용 가능한 시각적 힌트를 제공하여, 사용자가 동적이고 데이터 기반의 중요도 점수에 기반해 필터를 선택하고 프루닝할 수 있도록 한다.
• 필터 뷰는 개별 필터에 대한 상세하고 상호작용 가능한 시각화를 제공하여, 사용자가 특징 맵을 검토하고 필터 의미론에 기반해 프루닝 계획을 개선할 수 있도록 한다.
• 시스템은 실시간 모델 성능 및 인스턴스 수준의 변화(예: 열악해진 예측, 향상된 예측 포함) 피드백을 제공하는 점진적 프루닝을 지원한다.

실험 결과

연구 질문

• RQ1 시각적 분석은 효율성과 정확도의 균형을 고려할 때 프루닝 과정의 해석 가능성과 제어 가능성을 어떻게 향상시킬 수 있는가?
• RQ2 전문가가 수치적 임계값을 초월해 개별 필터의 역할을 이해하고 중요도를 평가하는 데 도움이 되는 시각적 및 상호작용 기법은 무엇인가?
• RQ3 시스템은 모델 고유의 특성에 맞게 유연하고 사용자 중심의 프루닝 전략을 어떻게 지원할 수 있는가? 고정된 프루닝 규칙에 의존하지 않고 말이다.
• RQ4 시각적 분석은 반복적 프루닝 및 피니팅 과정에서 이질성과 모델 열악화를 진단하는 데 어떻게 기여할 수 있는가?
• RQ5 복수의 기준(예: 복구 비용, 모델 안정성 포함)에 기반해 다양한 프루닝 계획을 비교하고 개선할 수 있도록 시스템은 어떻게 지원할 수 있는가?

주요 결과

• CNN Pruner는 실시간 상호작용 시각 피드백과 다기준 필터 중요도 추정을 활용하여, 자동화된 임계값 기반 방법보다 더 효과적인 프루닝 계획 수립을 가능하게 한다.
• 불안정성과 민감도 메트릭의 통합은 필터 선택의 정밀도를 크게 향상시켜 불필요한 프루닝을 줄이고 모델 정확도를 유지하는 데 기여한다.
• 트리 뷰와 통계 뷰를 통해 전문가는 모델의 진화를 모니터링하고 과도한 프루닝 또는 복구 실패의 조기 징후를 감지하여 전략 조정을 신속히 수행할 수 있다.
• 필터 뷰는 필터의 기능적 역할을 성공적으로 드러내어 전문가가 핵심적인 특징을 식별하고 보존할 수 있도록 한다. 특히 복잡하거나 모호한 이미지 영역에서 유용하다.
• 실제 CNN 모델(VGG-16 등)을 대상으로 한 사례 연구에서 CNN Pruner는 기준 자동 프루닝 방법보다 더 높은 압축 비율에서도 더 높은 정확도 유지 성능을 보였다.
• 도메인 전문가들은 CNN Pruner가 모델의 해석 가능성을 향상시키고, 특히 열악해지고 향상된 테스트 인스턴스 식별을 통해 프루닝 계획을 개선하는 데 실질적인 도구를 제공한다고 확인했다.