[논문 리뷰] Accelerating Deep Unsupervised Domain Adaptation with Transfer Channel Pruning

Chaohui Yu, Jindong Wang외 2명|arXiv (Cornell University)|2019. 03. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 9

한 줄 요약

이 논문은 전이 채널 프루닝(Transfer Channel Pruning, TCP)을 제안하며, 이는 다중 도메인 분포 간의 분포 차이를 동시에 줄이고 불필요한 채널을 제거하여 딥 비지도 학습 도메인 적응(UDA)을 가속화하는 통합적인 방법이다. TCP는 VGG16 기반 모델에서 최대 26%의 FLOPs 감소를 이루며 기존의 기준보다 높거나 유사한 정확도를 달성했고, ResNet50에서는 12% 감소를 기록했으며, 이는 UDA 모델을 위한 첫 번째 효과적인 네트워크 압축 방법이다.

ABSTRACT

Deep unsupervised domain adaptation (UDA) has recently received increasing attention from researchers. However, existing methods are computationally intensive due to the computation cost of Convolutional Neural Networks (CNN) adopted by most work. To date, there is no effective network compression method for accelerating these models. In this paper, we propose a unified Transfer Channel Pruning (TCP) approach for accelerating UDA models. TCP is capable of compressing the deep UDA model by pruning less important channels while simultaneously learning transferable features by reducing the cross-domain distribution divergence. Therefore, it reduces the impact of negative transfer and maintains competitive performance on the target task. To the best of our knowledge, TCP is the first approach that aims at accelerating deep UDA models. TCP is validated on two benchmark datasets-Office-31 and ImageCLEF-DA with two common backbone networks-VGG16 and ResNet50. Experimental results demonstrate that TCP achieves comparable or better classification accuracy than other comparison methods while significantly reducing the computational cost. To be more specific, in VGG16, we get even higher accuracy after pruning 26% floating point operations (FLOPs); in ResNet50, we also get higher accuracy on half of the tasks after pruning 12% FLOPs. We hope that TCP will open a new door for future research on accelerating transfer learning models.

연구 동기 및 목표

• 자원 제약이 있는 장치에의 구현을 제한하는 깊이 학습 UDA 모델의 높은 계산 비용을 해결하기 위해.
• 목표 도메인에서 레이블이 제공되지 않는 비지도 학습 도메인 적응을 위해 특화된 네트워크 압축 방법을 개발하기 위해.
• 프루닝 과정에서 도메인 분포의 불일치를 고려하여 부정적 전이를 줄이기 위해.
• 표준 딥 러닝 라이브러리와 호환되는 일반적이고 효율적이며 정확한 압축 프레임워크를 구축하기 위해.

제안 방법

• TCP는 도메인 간 불일치 지표를 사용하여 소스 및 타겟 도메인 양쪽에서 채널 중요도를 종합적으로 평가하는 전이 채널 평가 모듈을 도입한다.
• 이 방법은 MMD와 같은 교차 도메인 분포 간 차이를 최소화하는 데 기여하는 채널의 기여도에 기반해 중요도가 낮은 채널을 반복적으로 제거한다.
• 소스 및 타겟 브랜치 양쪽에서 동시에 프루닝을 수행함으로써 특징 전이 가능성 유지를 하고 부정적 전이를 줄인다.
• 정확도와 압축을 균형 잡는 통합 최적화 목표를 통해 엔드 투 엔드로 프레임워크를 훈련시킨다.
• 표준 CNN 아키텍처인 VGG16과 ResNet50를 백본으로 활용하여 기존 UDA 모델과의 호환성을 확보한다.
• 이 방법은 특수 하드웨어나 소프트웨어가 필요로 하지 않아 표준 딥 러닝 파ip라인에 쉽게 통합될 수 있다.

실험 결과

연구 질문

• RQ1 목표 도메인 레이블이 없이도 채널 프루닝을 비지도 학습 도메인 적응에 효과적으로 적용할 수 있는가?
• RQ2 소스 및 타겟 특징을 동시에 프루닝함으로써 부정적 전이를 줄이고 모델 일반화 성능을 향상시킬 수 있는가?
• RQ3 통합 프루닝 프레임워크가 UDA 환경에서 단계별 또는 별도의 프루닝 전략보다 우월한 성능을 보일 수 있는가?
• RQ4 TCP는 얼마나 많은 FLOPs를 감소시킬 수 있으며, 이와 동시에나 더 높은 타겟 도메인 분류 정확도를 유지하거나 향상시킬 수 있는가?
• RQ5 기존 기준 대비 프루닝된 모델이 더 나은 특징 분류 가능성과 도메인 정렬을 유지하는가?

주요 결과

• VGG16 기반 모델에서 TCP는 26%의 FLOPs 감소를 이룬 동시에 기준보다 더 높은 분류 정확도를 달성하여, 프루닝을 통한 성능 향상을 입증했다.
• ResNet50에서는 12%의 FLOPs 감소 후 절반 이상의 작업에서 정확도가 향상되어 강건성과 효과성을 입증했다.
• 모든 압축 비율에서 이중 단계 프루닝 및 제거 변형(TCP_w/o_DA)보다 성능이 뛰어나, 공동 도메인 인식 프루닝의 중요성을 확인했다.
• t-SNE 시각화 결과, TCP는 타겟 도메인에서 더 분류 가능하고 잘 분리된 특징을 생성함으로써 더 나은 전이 가능성의 가능성을 보였다.
• 프루닝은 VGG16과 ResNet50의 상위 레이어를 우선적으로 대상으로 하며, 이는 상위 레이어에서 더 큰 중복성이 존재하기 때문이며, 하위 레이어는 더 많은 공유 가능한 전이 가능한 특징을 유지한다는 관찰과 일치한다.
• 프루닝된 모델은 교차 도메인 분포 간의 분포 간 차이가 감소하고 타겟 샘플의 군집화가 향상되어 강력한 도메인 정렬을 유지함을 입증했다.