[논문 리뷰] Manifold Regularized Dynamic Network Pruning

Yehui Tang, Yunhe Wang외 5명|arXiv (Cornell University)|2021. 03. 10.

Advanced Neural Network Applications참고 문헌 60인용 수 4

한 줄 요약

이 논문은 입력에 따라 복잡도와 인스턴스 간 특성 유사도를 기반으로 필터를 적응적으로 제거하는 다이나믹 프루닝 방법인 ManiDP를 제안한다. 스퍼스티 규제를 인스턴스 복잡도와 일치시키고, 프루닝된 서브넷에서 유사도를 유지함으로써, ImageNet에서 ResNet-34에서 FLOPs를 55.3% 감소시키면서도 상위 1위 정확도가 0.57% 뿐 감소시키며 최신 기술들을 능가한다.

ABSTRACT

Neural network pruning is an essential approach for reducing the computational complexity of deep models so that they can be well deployed on resource-limited devices. Compared with conventional methods, the recently developed dynamic pruning methods determine redundant filters variant to each input instance which achieves higher acceleration. Most of the existing methods discover effective sub-networks for each instance independently and do not utilize the relationship between different inputs. To maximally excavate redundancy in the given network architecture, this paper proposes a new paradigm that dynamically removes redundant filters by embedding the manifold information of all instances into the space of pruned networks (dubbed as ManiDP). We first investigate the recognition complexity and feature similarity between images in the training set. Then, the manifold relationship between instances and the pruned sub-networks will be aligned in the training procedure. The effectiveness of the proposed method is verified on several benchmarks, which shows better performance in terms of both accuracy and computational cost compared to the state-of-the-art methods. For example, our method can reduce 55.3% FLOPs of ResNet-34 with only 0.57% top-1 accuracy degradation on ImageNet.

연구 동기 및 목표

• 정적 및 독립적인 다이나믹 프루닝 방법이 입력 인스턴스 간 관계를 활용하지 못하는 한계를 해결하기 위해.
• 특히 인스턴스 복잡도와 특성 유사도를 포함한 다각형 구조를 프루닝 과정에 통합함으로써 딥 네트워크의 부재를 최대한 제거하기 위해.
• 입력에 따라 특성에 맞게 네트워크 용량을 적응적으로 할당하는 다이나믹 프루닝 프레임워크를 개발하기 위해.
• 일반화 성능과 효율성을 향상시키기 위해 프루닝된 서브넷에서 입력 간의 구조적 및 의미적 관계를 유지하기 위해.

제안 방법

• 먼저 각 훈련 인스턴스의 인식 복잡도를 분석하여 입력 난이도에 따라 적응적인 스퍼스티 페널티를 할당한다.
• 네트워크에서 생성된 표현을 사용하여 인스턴스 간 특성 유사도를 계산함으로써 상호 인스턴스 관계를 모델링한다.
• 인스턴스별 페널티 가중치를 갖는 적응형 스퍼스티 손실을 통해 복잡한 입력은 더 많은 활성 필터를, 단순한 입력은 더 적은 필터를 사용하도록 보장한다.
• 입력 특성의 유사도 행렬과 해당 프루닝된 서브넷의 유사도 행렬을 일치시키는 유사도 정규화 항을 통해 구조적 일관성을 유지한다.
• 스퍼스티 손실과 유사도 손실을 조합한 종합적인 훈련 목표를 설정하고, 학습 가능한 초매개변수를 통해 엔드 투 엔드로 최적화한다.
• 프루닝된 네트워크는 추론 시각에 입력 복잡도와 유사도에 따라 기반하여 인스턴스별 서브넷을 동적으로 선택한다.

실험 결과

연구 질문

• RQ1 다이나믹 프루닝에 인스턴스 별 복잡도를 통합하면 정확도를 훼손하지 않고 모델 효율성을 향상시킬 수 있는가?
• RQ2 프루닝된 서브넷에서 인스턴스 간 특성 유사도를 유지하면 일반화 성능과 계산 비용에 어떤 영향을 미치는가?
• RQ3 적응형 스퍼스티 규제가 다양한 입력에서 네트워크 용량과 부재 제거의 균형을 어떻게 유지하는가?
• RQ4 다양한 입력에서 FLOPs 감소와 정확도 유지 측면에서 다각형 정규화 프루닝이 기존 정적 및 다이나믹 프루닝 방법을 능가할 수 있는가?

주요 결과

• 제안된 ManiDP 방법은 ImageNet에서 ResNet-34에서 FLOPs를 55.3% 감소시키며 상위 1위 정확도가 0.57% 뿐 감소시키며 뛰어난 효율-정확도 트레이드오프를 보여준다.
• ResNet-56에서는 FLOPs를 73.87% 감소시키고 메모리도 67.42% 감소시키며 테스트 정확도 93.29%를 유지하며 원본 모델 대비 0.41% 뿐 감소한다.
• 유사도 손실 성분을 비활성화할 경우 정확도가 1.43% 감소하지만, 유지할 경우 0.98% 감소하여 그 중요성을 입증한다.
• 초매개변수 설정에 대해 강건하며, 다양한 스퍼스티 및 유사도 손실 가중치 범위(예: λ′ ∈ [0.001, 0.01], γ ≈ 10.0)에서도 잘 작동한다.
• 서브넷의 FLOPs는 입력 복잡도에 따라 변동한다: 단순한 이미지는 작고 컴act한 서브넷을 사용하고, 복잡하거나 모호한 이미지는 더 많은 채널을 활성화한다.
• 시각화 결과는 FLOPs가 낮은 서브넷이 명확하고 단순한 이미지(예: 뚜렷한 새 또는 개)를 올바르게 처리하는 반면, FLOPs가 높은 서브넷은 모호하거나 복잡한 입력(예: 작은 또는 큰 물체)에 사용됨을 확인한다.