[논문 리뷰] Locally Free Weight Sharing for Network Width Search

Xiu Su, Shan You외 5명|arXiv (Cornell University)|2021. 02. 10.

Advanced Neural Network Applications참고 문헌 55인용 수 23

한 줄 요약

이 논문은 신경망 아키텍처 탐색(NAS)을 위한 국소적 자유 가중치 공유 전략인 CafeNet을 제안한다. 이는 국소 영역 내에서 채널을 자유롭게 선택함으로써 네트워크 너비 탐색을 향상시키고, 성능 평가 정확도를 높인다. 기본 채널과 국소적 자유 채널을 조합하고, FLOPs 민감도 기반의 박스를 사용함으로써, 최소 최소 최적화 전략 하에서 효율적이고 확률적 학습을 가능하게 하여, 최신 기술 수준의 성능을 달성한다. 이는 ImageNet에서 EfficientNet-B0보다 0.41% 높은 정확도를 기록한다.

ABSTRACT

Searching for network width is an effective way to slim deep neural networks with hardware budgets. With this aim, a one-shot supernet is usually leveraged as a performance evaluator to rank the performance \wrt~different width. Nevertheless, current methods mainly follow a manually fixed weight sharing pattern, which is limited to distinguish the performance gap of different width. In this paper, to better evaluate each width, we propose a locally free weight sharing strategy (CafeNet) accordingly. In CafeNet, weights are more freely shared, and each width is jointly indicated by its base channels and free channels, where free channels are supposed to loCAte FrEely in a local zone to better represent each width. Besides, we propose to further reduce the search space by leveraging our introduced FLOPs-sensitive bins. As a result, our CafeNet can be trained stochastically and get optimized within a min-min strategy. Extensive experiments on ImageNet, CIFAR-10, CelebA and MS COCO dataset have verified our superiority comparing to other state-of-the-art baselines. For example, our method can further boost the benchmark NAS network EfficientNet-B0 by 0.41\% via searching its width more delicately.

연구 동기 및 목표

• 일회성 슈퍼넷 학습에서 고정된 가중치 공유 패턴의 한계를 해결함으로써, 다양한 네트워크 너비의 정확한 성능 평가를 제한하는 문제를 해결한다.
• 목표 너비 주변의 국소 영역 내에서 자유 채널을 선택함으로써 서브넷 표현의 표현력을 향상시키며, 검색 공간의 폭발을 방지하면서도 유연성을 증가시킨다.
• FLOPs 민감도 기반의 박스를 사용하여 검색 공간을 효율적으로 줄이고, 레이어 간에 FLOPs를 더 균일하게 분포시킴으로써 하드웨어 제약 조건 하에서 최적화를 향상시킨다.
• 슈퍼넷에서 확률적 학습과 최소 최소 최적화 전략을 가능하게 하여, 최고 성능을 내는 너비 구성으로 수렴할 수 있도록 한다.
• 엄격한 FLOPs 예산 하에서 다양한 데이터셋과 모델, 즉 ImageNet, CIFAR-10, MS COCO에서 넓이 탐색 성능을 초우수 수준으로 향상시킨다.

제안 방법

• CafeNet은 두 부분으로 나누어진 채널 선택 전략을 도입한다: 기본 채널은 고정된 왼쪽 가장자리 패턴을 따르며, 자유 채널은 목표 너비 주변의 국소 영역에서 선택된다. 이는 국소적 유연성을 제공한다.
• 이 방법은 최소 최소 최적화 전략을 사용한다. 각 너비에 대해 손실가 가장 낮은 서브넷을 선택함으로써 효율적이고 정확한 성능 순위 매기기가 가능하다.
• FLOPs 민감도 기반의 박스를 도입하여 네트워크를 영역으로 나누며, FLOPs가 더 균일하게 분포되도록 함으로써 검색 공간을 줄이고 최적화 효율성을 향상시킨다.
• 각 배치에서 여러 서브넷 구성에 대해 순방향 전파를 수행하고, 역전파를 한 번만 적용함으로써, 증가한 순방향 전파에도 불구하고 학습 효율성을 유지하는 확률적 학습 방식을 사용한다.
• 국소적 자유 채널 선택은 반경 r로 매개변수화되며, 이는 국소 영역의 크기를 제어한다. r=1을 기본값으로 사용하여 성능와 효율성의 균형을 이룬다.
• 이 방법은 그레디 및 진화 탐색 전략을 모두 지원하여, 다양한 모델과 FLOPs 예산에서 강력하고 확장 가능한 너비 탐색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고정된 가중치 공유 전략에 비해 국소적 자유 가중치 공유 전략이 다양한 네트워크 너비의 성능 평가 정확도를 향상시킬 수 있는가?
• RQ2 목표 너비 주변의 국소 영역 내에서 자유 채널을 허용함으로써 서브넷의 표현력이 향상되며, 이로 인한 계산 비용 증가를 막을 수 있는가?
• RQ3 FLOPs 민감도 기반의 박스가 다양한 FLOPs 예산에서 검색 공간을 효과적으로 줄일 수 있으며, 모델 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 확률적 학습 하에서 최소 최소 최적화 전략이 최적의 너비 구성 설정을 효과적으로 식별할 수 있는가?
• RQ5 CafeNet은 더 정밀한 너비 탐색을 통해 기존 모델인 EfficientNet-B0의 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• CafeNet은 ImageNet에서 기준 EfficientNet-B0보다 0.41% 높은 정확도를 기록함으로써 더 미세한 너비 탐색을 가능하게 했다.
• CIFAR-10에서 진화 탐색을 사용한 CafeNet은 0.5× FLOPs MobileNetV2의 정확도를 0.91% 향상시키고, VGGNet은 0.74% 향상시켰다.
• FLOPs 민감도 기반의 박스를 사용함으로써 동일한 FLOPs 예산 하에서 MobileNetV2의 정확도를 최대 0.19% 향상시키고, VGGNet은 0.34% 향상시켜 검색 공간 축소의 효과를 입증했다.
• r=1일 때 CafeNet은 r=0에 비해 학습 시간이 오직 19% 증가하여, 추가적인 유연성이 학습 효율성에 거의 영향을 주지 않는 것으로 나타났다.
• ResNet34와 ResNet18에서 CafeNet은 0.75× FLOPs 모델을 구현하여 원본 모델과 Top-1 정확도 차이가 0.5% 이내였고, 10% FLOPs 예산 하에서는 기준 모델보다 최대 2.5% 높은 성능을 기록했다.
• 국소적 자유 가중치 공유와 FLOPs 민감도 기반의 박스를 조합함으로써, ImageNet에서 0.41%의 정확도 향상을 달성했으며, 다양한 데이터셋과 모델 아키텍처에서 일관된 성능 향상을 이룩했다.