[논문 리뷰] MutualNet: Adaptive ConvNet via Mutual Learning from Network Width and Resolution

Taojiannan Yang, Sijie Zhu외 4명|arXiv (Cornell University)|2019. 09. 27.

Advanced Neural Network Applications참고 문헌 46인용 수 4

한 줄 요약

MutualNet는 상호 학습을 통해 네트워크 폭과 입력 해상도를 동시에 최적화하는 새로운 적응형 합성곱 신경망을 제안한다. 이로 인해 추론 시 동적 정확도-효율성 트레이드오프가 가능해지며, ImageNet에서 기존 최고 성능(SOTA)을 기록한다(이미지넷에서 EfficientNet-B7보다 1.5% 높은 정확도). FLOP 제약 조건 전반에서 US-Net을 능가하며, ImageNet에서 단일 네트워크 정확도를 77.6%까지 향상시켜 GPU 탐색 시간이 0인 AutoAugmentation를 뛰어넘는다.

ABSTRACT

We propose the width-resolution mutual learning method (MutualNet) to train a network that is executable at dynamic resource constraints to achieve adaptive accuracy-efficiency trade-offs at runtime. Our method trains a cohort of sub-networks with different widths using different input resolutions to mutually learn multi-scale representations for each sub-network. It achieves consistently better ImageNet top-1 accuracy over the state-of-the-art adaptive network US-Net under different computation constraints, and outperforms the best compound scaled MobileNet in EfficientNet by 1.5%. The superiority of our method is also validated on COCO object detection and instance segmentation as well as transfer learning. Surprisingly, the training strategy of MutualNet can also boost the performance of a single network, which substantially outperforms the powerful AutoAugmentation in both efficiency (GPU search hours: 15000 vs. 0) and accuracy (ImageNet: 77.6% vs. 78.6%). Code is available at \url{https://github.com/taoyang1122/MutualNet}.

연구 동기 및 목표

• 기존 적응형 네트워크가 네트워크 폭 또는 입력 해상도 중 하나만 별도로 최적화하는 데서 비롯되는 한계를 해결함으로써, 동적 자원 제약 조건 하에서 최적의 정확도-효율성 트레이드오프를 달성하고자 한다.
• 단일 학습 프레임워크 내에서 네트워크 폭과 입력 해상도를 함께 학습 가능한 차원으로 통합함으로써, 추론 시 동적 적응이 가능하도록 하고자 한다.
• 아키텍처 수정 없이 다양한 아키텍처, 데이터셋 및 작업에서 성능을 향상시킬 수 있는 일반적이고 모델 독립적인 학습 기법을 개발하고자 한다.
• 상호 학습 메커니즘이 AutoAugmentation나 지식 정렬 기법과 같은 기존 방법을 뛰어넘는 단일 네트워크 성능 향상 전략으로도 기능할 수 있음을 입증하고자 한다.

제안 방법

• MutualNet는 동일한 백본 가중치를 공유하는 공유 학습 프로세스를 통해 다양한 폭과 입력 해상도를 가진 서브넷을 함께 훈련한다.
• 각 서브넷은 서로 다른 입력 해상도와 폭 설정을 갖추며, 공유된 파arameters를 통해 다양한 스케일 구성 간 지식 정렬이 가능해진다.
• 프레임워크는 다중 스케일 감시 전략을 사용하여, 각 서브넷이 자신의 폭과 해상도뿐 아니라 다른 서브넷의 지식에서 표현을 학습한다.
• 공유 인코더를 통해 넓이와 해상도의 다양성을 구현한 상호 학습 목표는, 서로 다른 서브넷의 특징 맵을 정렬하고 역전파 동안 지식을 교환함으로써 구현된다.
• 학습 과정은 데이터 증강이나 지식 정렬과 같은 다른 기법들과 수직적(orthogonal)이므로, 성능 향상을 위해 이들과 조합 가능하다.
• 이 방법은 모델 독립적이며, 아키텍처 수정 없이도 어떤 합성곱 신경망에나 적용 가능하므로 플러그 앤 플레이 배포가 가능하다.

실험 결과

연구 질문

• RQ1 훈련 시 네트워크 폭과 입력 해상도를 동시에 최적화하는 것이 별도로 최적화하는 것보다 더 나은 정확도-효율성 트레이드오프를 이끌 수 있는가?
• RQ2 폭과 해상도 구성 간의 상호 학습이 다양한 추론 조건에서 일반화 능력과 강건성을 향상시키는가?
• RQ3 상호 학습 프레임워크는 AutoAugmentation와 같은 기존 방법을 뛰어넘는 단일 네트워크 성능 향상을 위한 독립적인 학습 전략으로 사용될 수 있는가?
• RQ4 이 프레임워크는 이미지 분류, 객체 검출, 인스턴스 세그멘테이션 및 전이 학습을 포함한 다양한 작업에서 어떻게 성능을 발휘하는가?
• RQ5 향후 확장 시, 깊이 또는 비트 폭과 같은 다른 네트워크 차원으로 상호 학습 메커니즘이 일반화될 수 있는가?

주요 결과

• ImageNet에서 MutualNet는 77.6%의 top-1 정확도를 달성했으며, GPU 탐색 시간이 0인 AutoAugmentation(78.6%)를 뛰어넘는다(15,000시간 대비 0시간).
• ImageNet에서 동일한 FLOP 제약 조건 하에서 MutualNet는 EfficientNet의 최고 복합 스케일링된 MobileNet보다 1.5% 높은 top-1 정확도를 기록한다.
• ImageNet에서 모든 FLOP 수준에서 MutualNet는 US-Net을 뚜렷이 능가하며, 항상 더 우수한 정확도-FLOPs 곡선을 보인다.
• COCO 객체 검출 및 인스턴스 세그멘테이션 작업에서, MutualNet는 모든 FLOP 수준에서 US-Net보다 더 높은 평균 정밀도(AP)를 달성했으며, 소형 및 대형 객체 모두에 대해 강건성이 향상되었다.
• Cifar-100, Food-101 및 MIT-Indoor67에서의 전이 학습 작업에서, MutualNet는 모든 데이터셋에서 US-Net과 MobileNet v1보다 뚜렷이 높은 정확도를 기록했다.
• 제거 실험 결과 상호 학습 기법이 효과적임을 확인했으며, AutoAugmentation나 지식 정렬과 같은 다른 기법들과도 수직적이고 보완 가능함을 입증했다.