[논문 리뷰] Exploring Linear Relationship in Feature Map Subspace for ConvNets Compression

Dong Wang, Lei Zhou외 3명|arXiv (Cornell University)|2018. 03. 15.

Anomaly Detection Techniques and Applications참고 문헌 5인용 수 43

한 줄 요약

이 논문은 하위공간(clustering) 기반 필터 가지치기 방법으로 CNN 크기를 축소하고 특징 맵을 클러스터링하여 관련 필터를 가지치는 방식으로 VGG-16과 ResNet-50에서 미세조정 후 경쟁력 있는 정확도와 함께 압축을 개선하고 객체 탐지 및 포즈 추정 작업으로 확장한다.

ABSTRACT

While the research on convolutional neural networks (CNNs) is progressing quickly, the real-world deployment of these models is often limited by computing resources and memory constraints. In this paper, we address this issue by proposing a novel filter pruning method to compress and accelerate CNNs. Our work is based on the linear relationship identified in different feature map subspaces via visualization of feature maps. Such linear relationship implies that the information in CNNs is redundant. Our method eliminates the redundancy in convolutional filters by applying subspace clustering to feature maps. In this way, most of the representative information in the network can be retained in each cluster. Therefore, our method provides an effective solution to filter pruning for which most existing methods directly remove filters based on simple heuristics. The proposed method is independent of the network structure, thus it can be adopted by any off-the-shelf deep learning libraries. Experiments on different networks and tasks show that our method outperforms existing techniques before fine-tuning, and achieves the state-of-the-art results after fine-tuning.

연구 동기 및 목표

• 실세계 배치에서 제한된 컴퓨팅 및 메모리 자원을 해결하기 위해 CNN 압축을 촉진한다.
• 특징 맵 하위공간의 선형 관계를 활용해 대표 정보를 유지하는 필터 가지치기 프레임워크를 제안한다.
• 가지치기 방법이 네트워크 아키텍처에 의존하지 않도록 만들어 광범위한 적용성을 확보한다.
• 여러 네트워크(VGG-16, ResNet-50)와 작업(이미지 분류, 객체 탐지, 포즈 추정)에서 효과를 보여준다.
• 하위공간 클러스터링 기반 가지치기가 기존 가지치기 전략보다 우수함을 보여준다, 특히 미세조정 전.

제안 방법

• 레이어의 입력 특징 맵을 하위공간 클러스터링으로 클러스터링해 ci' 개의 클러스터를 형성한다(ci' ≤ ci).
• 클러스터당 평균 필터를 계산해 해당 레이어와 다음 레이어의 채널 축에 걸쳐 가지치기된 필터를 형성한다.
• 선형 최소제곱 문제를 풀어 가지치기된 레이어의 출력을 재구성하고 재구성 오차(Frobenius 노름)를 최소화한다.
• 피드포워드 방식으로 레이어별 차례로 가지치되도록 반복하고, 모든 대상 레이어 가지치기 후에 미세조정을 수행한다.
• 아키텍처에 따른 두 가지 가지치기 전략: 단일 경로 네트워크(예: VGG)와 다경로 네트워크(예: ResNet)에서 잔차 블록에 대한 제약 조건을 다룬다.
• 이론적 프레이밍은 자기표현(self-expressiveness) 모델을 사용한 하위공간 클러스터링:X = XC, diag(C)=0이고 ||C||1을 최소화해 친화 행렬을 도출하고, 이후 단계를 통해 가지치기를 안내하는 클러스터 인덱스 형성(식(1)-(4)).

실험 결과

연구 질문

• RQ1 특징 맵 하위공간의 선형 관계를 이용해 가지치기를 위한 대표 필터를 식별할 수 있는가?
• RQ2 하위공간 클러스터링 기반 가지치기가 미세조정 전후에 전통적인 중요도 기반 가지치기 방법보다 정확도를 더 잘 보존하는가?
• RQ3 제안한 방법이 아키텍처 독립적이고 단일 경로 및 다경로 CNN에 적용 가능한가?
• RQ4 백본 압축으로 사용될 때 이미지 분류, 객체 탐지, 포즈 추정과 같은 다양한 작업에서 방법의 성능은 어떠한가?
• RQ5 다른 모델 간 가지치기 범위(스피드업)와 정확도 간의 트레이드오프는 어떻게 되는가?

주요 결과

• 이 방법은 VGG-16에서 단일 레이어 가지치기에서 여러 필터 선택 기준보다 일관되게 우수하여 재구성을 위한 정보를 더 많이 보존한다.
• 하위공간 클러스터링을 이용한 레이어별 가지치기는 미세조정 없이도 2x, 4x, 5x의 속도향상을 달성하며 정확도 손실이 더 작고, 미세조정 후에도 유사하거나 더 나은 결과를 보인다.
• ResNet-50에서 이 접근법은 Leading baseline보다 작은 정확도 감소로 2x 가속을 달성하며, 미세조정 여부에 관계없이 더 나은 결과를 보인다.
• Faster R-CNN(VGG-16 백본)으로 객체 탐지의 경우 2x 및 4x 가지치기가 기준보다 작은 mAP 손실을 유발한다(각각 0.2, 1.0 포인트).
• MSCOCO-14의 CMU-Pose의 경우 2x 및 4x 가지치기가 완만한 mAP 감소를 보인다(각각 0.8, 1.9 포인트).
• 작업 전반에 걸쳐 방법은 합성곱 백본의 가속화에서 강한 일반화 성능을 보여, 미세조정 후 성능 저하를 제한적으로 하면서 계산 및 메모리의 유의한 감소를 달성한다.