[논문 리뷰] CompOFA: Compound Once-For-All Networks for Faster Multi-Platform Deployment

Manas Sahni, Shreya Varshini외 2명|arXiv (Cornell University)|2021. 04. 26.

Advanced Neural Network Applications인용 수 11

한 줄 요약

CompOFA는 깊이-너비-해상도 결합 관계를 활용하여 Once-For-All (OFA) 네트워크의 검색 공간을 기존 10^19에서 단 243개로 극적으로 축소하는 복합 결합 히ュ리스틱을 제안한다. 이는 훈련 속도를 2배 빠르게 하고 모델 검색 속도를 216배 빠르게 하며, 다양한 하드웨어 및 지연 시간 목표에서 파레토 최적의 정확도를 유지하면서도 CO2 배출량을 감소시킨다.

ABSTRACT

The emergence of CNNs in mainstream deployment has necessitated methods to design and train efficient architectures tailored to maximize the accuracy under diverse hardware & latency constraints. To scale these resource-intensive tasks with an increasing number of deployment targets, Once-For-All (OFA) proposed an approach to jointly train several models at once with a constant training cost. However, this cost remains as high as 40-50 GPU days and also suffers from a combinatorial explosion of sub-optimal model configurations. We seek to reduce this search space -- and hence the training budget -- by constraining search to models close to the accuracy-latency Pareto frontier. We incorporate insights of compound relationships between model dimensions to build CompOFA, a design space smaller by several orders of magnitude. Through experiments on ImageNet, we demonstrate that even with simple heuristics we can achieve a 2x reduction in training time and 216x speedup in model search/extraction time compared to the state of the art, without loss of Pareto optimality! We also show that this smaller design space is dense enough to support equally accurate models for a similar diversity of hardware and latency targets, while also reducing the complexity of the training and subsequent extraction algorithms.

연구 동기 및 목표

• 기하급수적으로 증가하는 하위 최적의 모델 구성으로 인해 발생하는 Once-For-All (OFA) 네트워크의 허용 불가능한 높은 훈련 비용과 조합 폭발 문제를 해결한다.
• 다양한 배포 플랫폼에서 정확도-지연 시간 트레이드오���의 파레토 최적성을 훼손하지 않으면서 아키텍처 검색 공간을 축소한다.
• 모델 구성이 정확도-지연 시간 경계선 근처에 있도록 제약을 두어 공동 가중치 공유 중 간섭을 최소화한다.
• 설계 공간을 단순화하고 지연 시간 추정기 의존도를 제거함으로써 더 빠르고 효율적인 모델 추출 및 배포를 가능하게 한다.
• ProxylessNAS와 같은 다른 기본 아키텍처로의 복합 결합 히ュ리스틱의 일반화를 입증한다.

제안 방법

• 깊이, 너비, 해상도를 복합 스케일링 원칙에 따라 결합하여 검색 공간을 OFA의 10^19개에서 단 243개로 제한한다.
• 실제로 향상된 정확도-지연 시간 트레이드오프를 관찰한 바탕으로, 깊이, 너비, 해상도 다중 차원에서 모델 용량을 조율된 방식으로 증가시키는 히ュ리스틱을 적용한다.
• 공유 가중치를 사용하는 단일 단계(one-shot) 방식으로 CompOFA 슈퍼넷을 훈련하지만, 모델 구성 수가 크게 줄어들어 간섭이 감소한다.
• 더 작은, 더 일관된 설계 공간을 통해 渐진적 축소(progressive shrinking)가 필요 없어지게 한다.
• 진화적 검색 중 측정된 지연 시간을 캐시하는 메모이제이션을 구현하여, 프록시 추정기 의존도 없이 직접적이고 실시간으로 지연 시간 평가가 가능하게 한다.
• MobileNetV3 및 ProxylessNAS 아키텍처에서 방법을 검증하여 일반화 능력과 일관된 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 모델 차원 간 복합 결합으로 제약된 극적으로 축소된 검색 공간이 정확도 및 지연 시간에서 파레토 최적성을 유지할 수 있는가?
• RQ2 10^19개의 모델 구성에서 243개로 줄였을 때 간섭이 크게 감소하고 훈련 시간이 반으로 줄어들 수 있는가?
• RQ3 더 작은 설계 공간이 모델 검색 및 추출 속도를 얼마나 향상시키며, 모델 다양성이나 정확도를 훼손하지 않는가?
• RQ4 MobileNetV3 이외의 다른 기본 아키텍처로도 복합 결합 히ュ리스틱이 일반화 가능한가?
• RQ5 지연 시간 추정기를 제거하고 직접 측정 방식을 채택함으로써 실용성과 개발 오버헤드가 개선되는가?

주요 결과

• CompOFA는 OFA의 10^19개에서 243개로 모델 구성 수를 줄여 검색 공간 크기를 17개 항승수 감소시켰다.
• 간섭 감소와 渐진적 축소 제거로 인해 훈련 시간이 2배 단축되어 훈련 예산이 반으로 줄었다.
• 더 작은 설계 공간 덕분에 모델 검색 및 추출 속도가 216배 빨라졌으며, 메모이제이션을 통한 직접적 지연 시간 측정으로 프록시 추정기가 필요 없어졌다.
• 더 작은 검색 공간에도 불구하고 CDF 비교 결과, 동일한 모델 구성에서 OFA와 동일하거나 略적으로 높은 정확도를 유지하거나 초월했다.
• 이 방법은 다른 아키텍처로도 일반화된다: ProxylessNAS에 적용했을 때도 훈련 예산을 반으로 줄였음에도 동일하거나 더 높은 정확도를 달성했다.
• 훈련 시간이 2배 감소함에 따라 CO2 배출량과 달러 비용도 비례하여 감소하여, 더 지속 가능하고 확장 가능한 방법이 되었다.