[논문 리뷰] TF-NAS: Rethinking Three Search Freedoms of Latency-Constrained Differentiable Neural Architecture Search

Yibo Hu, Xiang Wu외 1명|arXiv (Cornell University)|2020. 08. 12.

Advanced Neural Network Applications참고 문헌 49인용 수 8

한 줄 요약

TF-NAS는 고정밀도, 지연 시간 제약 조건을 갖춘 모델을 달성하기 위해 연산 수준, 깊이 수준, 폭 수준의 탐색 자유도를 재고하는 새로운 미분 가능 신경망 아키텍처 탐색 프레임워크를 제안한다. 운영 격리 문제를 완화하기 위해 이중 샘플링을 도입하고, 스킵 커넥션의 상호 배타성을 강제하며 부정확한 중복을 줄이기 위한 싱크 연결 탐색 공간을 설계하며, 세밀한 지연 시간 제어를 위한 탄성 스케일링 전략을 적용함으로써 TF-NAS는 단지 1.8 GPU 일의 탐색 시간 동안 ImageNet에서 76.9%의 top-1 정확도를 달성하고 정밀한 지연 시간 제어를 실현한다.

ABSTRACT

With the flourish of differentiable neural architecture search (NAS), automatically searching latency-constrained architectures gives a new perspective to reduce human labor and expertise. However, the searched architectures are usually suboptimal in accuracy and may have large jitters around the target latency. In this paper, we rethink three freedoms of differentiable NAS, i.e. operation-level, depth-level and width-level, and propose a novel method, named Three-Freedom NAS (TF-NAS), to achieve both good classification accuracy and precise latency constraint. For the operation-level, we present a bi-sampling search algorithm to moderate the operation collapse. For the depth-level, we introduce a sink-connecting search space to ensure the mutual exclusion between skip and other candidate operations, as well as eliminate the architecture redundancy. For the width-level, we propose an elasticity-scaling strategy that achieves precise latency constraint in a progressively fine-grained manner. Experiments on ImageNet demonstrate the effectiveness of TF-NAS. Particularly, our searched TF-NAS-A obtains 76.9% top-1 accuracy, achieving state-of-the-art results with less latency. The total search time is only 1.8 days on 1 Titan RTX GPU. Code is available at https://github.com/AberHu/TF-NAS.

연구 동기 및 목표

• 기존의 지연 시간 제약 조건이 있는 미분 가능 NAS 방법에서의 열등한 정확도와 큰 지연 시간 변동성을 해결하기 위해.
• 연산 수준의 붕괴, 깊이 수준의 중복, 굵은 폭 수준의 이산화로 인해 발생하는 불안정성 문제를 조사하고 해결하기 위해.
• 재구상된 탐색 공간 설계와 점진적 개선을 통해 고정밀도 지연 시간 제약 조건을 유지하면서도 높은 모델 정확도를 달성하기 위해.
• 스킵 커넥션과 다른 연산 간의 상호 배타성을 모델링하여 탐색의 안정성과 유연성을 향상시키기 위해.
• 탐색 단계에서 최소한의 계산 비용으로 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 아키텍처 공간과 연산 공간을 동시에 샘플링함으로써 운영 격리 문제를 줄이기 위한 이중 샘플링 탐색 알고리즘을 제안한다.
• 스킵 커넥션과 다른 연산 간의 상호 배타성을 강제하여 아키텍처의 중복을 제거하는 싱크 연결 탐색 공간을 도입한다.
• 모델 폭을 점진적으로 축소하고 확장함으로써 세밀한 지연 시간 제어를 가능하게 하는 탄성 스케일링 전략을 설계한다.
• 모든 세 가지 탐색 자유도를 통합한 슈퍼넷 기반의 미분 가능 NAS 프레임워크를 활용하여 기울기 기반 최적화를 수행한다.
• 특정 하드웨어에서 목표 지연 시간 제약 조건을 충족시키기 위해 지연 시간 인식 탐색 목적 함수를 사용한다.
• 탐색 과정에서 점진적인 폭 스케일링을 적용하여 탐색 공간을 정교화하고 정밀한 지연 시간 목표에 수렴하는 데 기여한다.

실험 결과

연구 질문

• RQ1 미분 가능 NAS에서 발생하는 운영 격리 문제를 어떻게 완화할 수 있을까? 이는 탐색의 안정성과 다양성을 향상시키는 데 기여할 수 있다.
• RQ2 스킵 커넥션은 깊이 수준 탐색에서 어떤 역할을 하는가? 그리고 다른 연산과의 상호 배타성을 어떻게 강제할 수 있는가?
• RQ3 왜 굵은 폭 수준의 이산화가 정밀한 지연 시간 제어를 어렵게 하는가? 이를 어떻게 점진적으로 개선할 수 있는가?
• RQ4 연산, 깊이, 폭 수준의 자유도를 통합한 통합 탐색 프레임워크는 높은 정확도와 정밀한 지연 시간 제약 조건을 동시에 달성할 수 있는가?
• RQ5 제안된 TF-NAS 방법은 정확도, 지연 시간 정밀도, 탐색 효율성 측면에서 최신 기술 수준의 NAS 접근 방식과 비교해 어떻게 성능을 냅니다?

주요 결과

• TF-NAS-A는 ImageNet에서 76.9%의 top-1 정확도를 달성하여 지연 시간 제약 조건이 있는 모델의 새로운 최고 기록을 수립한다.
• 이 방법은 정밀한 지연 시간 제어를 실현하여, 정교화 후 목표 지연 시간(예: 15.76ms 대비 15ms 목표)에 매우 가까운 아키텍처를 탐색한다.
• 탐색 과정에 필요한 계산 자원은 단지 1.8 GPU 일 뿐이며, 이는 이전 방법 대비 계산 비용을 크게 줄였다.
• 이중 샘플링 전략은 운영 격리를 효과적으로 줄여 탐색의 안정성과 다양성을 향상시킨다.
• 싱크 연결 탐색 공간은 아키텍처의 중복을 제거하고, 스킵 커넥션이 다른 연산과 상호 배타적이도록 보장한다.
• 탄성 스케일링 전략은 점진적인 세밀한 폭 조정을 가능하게 하여 정밀한 지연 시간 제약 조건의 이행을 가능하게 한다.