[논문 리뷰] FSNet: Compression of Deep Convolutional Neural Networks by Filter Summary

Shuicheng Yan, Jiahui Yu외 3명|arXiv (Cornell University)|2020. 04. 30.

Advanced Neural Network Applications참고 문헌 24인용 수 9

한 줄 요약

FSNet은 표준 합성곱 필터를 공유되는 1차원 필터 요약(FS)으로 대체하여 깊은 CNN을 압축한다. 겹치는 필터 세그먼트가 가중치를 재사용함으로써 파rameter를 극적으로 감소시킨다. 이 방법은 정확도 손실 최소화와 함께 고압축을 가능하게 하며, 양자화 및 미분 가능한 학습을 지원하여 이미지 분류 및 객체 검출 과제에서 기준 모델을 능가한다.

ABSTRACT

We present a novel method of compression of deep Convolutional Neural Networks (CNNs) by weight sharing through a new representation of convolutional filters. The proposed method reduces the number of parameters of each convolutional layer by learning a 1D vector termed Filter Summary (FS). The convolutional filters are located in FS as overlapping 1D segments, and nearby filters in FS share weights in their overlapping regions in a natural way. The resultant neural network based on such weight sharing scheme, termed Filter Summary CNNs or FSNet, has a FS in each convolution layer instead of a set of independent filters in the conventional convolution layer. FSNet has the same architecture as that of the baseline CNN to be compressed, and each convolution layer of FSNet has the same number of filters from FS as that of the basline CNN in the forward process. With compelling computational acceleration ratio, the parameter space of FSNet is much smaller than that of the baseline CNN. In addition, FSNet is quantization friendly. FSNet with weight quantization leads to even higher compression ratio without noticeable performance loss. We further propose Differentiable FSNet where the way filters share weights is learned in a differentiable and end-to-end manner. Experiments demonstrate the effectiveness of FSNet in compression of CNNs for computer vision tasks including image classification and object detection, and the effectiveness of DFSNet is evidenced by the task of Neural Architecture Search.

연구 동기 및 목표

• 깊은 합성곱 신경망(CNN)의 파arameter 수를 유의미한 정확도 저하 없이 줄이는 것.
• 1차원 필터 표현 기반의 새로운 가중치 공유 메커니즘을 통해 효율적인 모델 압축을 가능하게 하는 것.
• 더 큰 모델 크기 감소를 위해 가중치 양자화와 호환되는 압축 방법을 설계하는 것.
• 가중치 공유 패턴을 엔드 투 엔드로 학습할 수 있는 미분 가능한 버전을 개발하는 것.
• 실제 컴퓨터 비전 과제, 특히 이미지 분류 및 객체 검출에서 접근 방식을 검증하는 것.

제안 방법

• 다수의 합성곱 필터를 겹치는 1차원 세그먼트로 표현하는 1차원 벡터인 필터 요약(FS)을 도입한다.
• FSNet의 각 합성곱 레이어는 독립적인 필터 대신 단일 FS 벡터를 사용하며, 겹치는 영역에서 필터 간 가중치를 공유한다.
• 전방향 전파 과정에서 기준 CNN과 동일한 필터 수를 유지하여 아키텍처 호환성을 확보한다.
• 역전파를 통해 엔드 투 엔드로 최적의 필터 공유 패턴을 학습할 수 있는 미분 가능한 학습 체계(DFSNet)를 적용한다.
• 가중치 양자화를 지원하여 성능 저하 없이 추가적인 압축을 가능하게 한다.
• 수정된 필터 파aram터화를 갖는 표준 CNN 레이어를 사용하여 파arameter 효율성을 달성한다.

실험 결과

연구 질문

• RQ1 공유되는 1차원 필터 표현이 합성곱 레이어의 파arameter 수를 현저히 줄일 수 있을까? 이때 정확도는 유지되는가?
• RQ2 필터 요약 접근 방식이 정확도 손실 최소화로 고압축 비율을 달성하는 데 얼마나 효과적인가?
• RQ3 미분 가능한 버전인 DFSNet이 비미분 가능한 변형 대비 성능 향상 정도는 어느 정도인가?
• RQ4 제안된 방법이 가중치 양자화와 효과적으로 조합되어 모델 크기를 추가로 감소시킬 수 있는가?
• RQ5 이 방법은 이미지 분류 및 객체 검출과 같은 다양한 컴퓨터 비전 과제에서 잘 일반화되는가?

주요 결과

• FSNet은 개별 필터를 공유되는 1차원 필터 요약(FS) 벡터로 대체하여 CNN의 파arameter 수를 극적으로 감소시킨다.
• 방법은 기준 모델과 동일한 필터 수를 유지하므로 호환성과 일관된 추론 동작을 보장한다.
• 파arameter 수 감소로 인해 높은 계산 가속도를 달성하며, 이미지 분류 벤치마크에서 정확도 저하가 최소화된다.
• 가중치 양자화와 조합할 경우 성능 저하 없이 더 높은 압축 비율을 달성한다.
• 미분 가능한 변형인 DFSNet은 엔드 투 엔드로 최적의 가중치 공유 패턴을 학습하여 신경망 아키텍처 탐색 과제에서 성능을 향상시킨다.
• 이 방법은 이미지 분류 및 객체 검출을 포함한 다양한 컴퓨터 비전 과제에서 강력한 일반화 성능을 보여준다.