[논문 리뷰] HardCoRe-NAS: Hard Constrained diffeRentiable Neural Architecture Search

Niv Nayman, Yonathan Aflalo외 2명|arXiv (Cornell University)|2021. 02. 23.

Advanced Neural Network Applications참고 문헌 63인용 수 17

한 줄 요약

HardCoRe-NAS는 유연한 탐색 공간과 블록 좌표 스토하스틱 프랭크-울프 최적화 방법을 사용하여 검색 과정 全주기 동안 디지털 지연 시간 제약 조건을 강제하는 미분 가능 신경망 아키텍처 탐색 프레임워크를 제안한다. 이는 후처리 조정 없이도 정확도 저하 없이 사용자 정의 지연 시간 제약 조건을 엄격히 충족시키며 ImageNet에서 최고 성능을 달성한다.

ABSTRACT

Realistic use of neural networks often requires adhering to multiple constraints on latency, energy and memory among others. A popular approach to find fitting networks is through constrained Neural Architecture Search (NAS), however, previous methods enforce the constraint only softly. Therefore, the resulting networks do not exactly adhere to the resource constraint and their accuracy is harmed. In this work we resolve this by introducing Hard Constrained diffeRentiable NAS (HardCoRe-NAS), that is based on an accurate formulation of the expected resource requirement and a scalable search method that satisfies the hard constraint throughout the search. Our experiments show that HardCoRe-NAS generates state-of-the-art architectures, surpassing other NAS methods, while strictly satisfying the hard resource constraints without any tuning required.

연구 동기 및 목표

• 기존의 자원 제약 조건을 부드럽게 강제하는 제약 NAS 방법의 한계를 해결하기 위해, 제약 위반이나 정확도 손실이 발생하지 않도록 하기 위해.
• 지연 시간에 대한 엄격한 제약 조건을 검색 과정 全주기 동안 유지하는 확장 가능한, 미분 가능한 NAS 방법을 개발하기 위해.
• 다양한 하드웨어 플랫폼과 다양한 지연 시간 요구 조건을 고려한 효율적이고 정확한 아키텍처 탐색을 가능하게 하기 위해.
• 한 번에 학습된 모델에서 사전 학습된 가중치를 유지하고 지식 증착을 사용하여 하위 네트워크의 빠른 미세 조정을 수행함으로써 정확도를 유지하기 위해.

제안 방법

• 기대 지연 시간에 대한 하드 제약 조건을 포함한 이중 최적화 문제로 NAS 문제를 수식화하여, 모든 단계에서 엄격한 준수를 보장한다.
• 한 개의 한정된 사전 학습된 가중치를 가진 하나의 한 번에 학습된 모델에서 하위 네트워크를 효율적으로 샘플링할 수 있는 미분 가능한 탐색 공간을 도입한다.
• 탐색 공간 내 각 아키텍처의 기대 지연 시간을 정확하게 추정하기 위한 분석 공식을 제안한다.
• 제약 최적화 문제를 해결하기 위해 블록 좌표 스토하스틱 프랭크-울프(BC-SFW) 알고리즘을 사용하여 수렴성을 확보하면서도 하드 제약 조건을 유지한다.
• 연속적인 아키텍처 파라미터를 이산적인 아키텍처로 변환하기 위한 새로운 투영 방법을 적용하여 지연 시간 제약 조건을 엄격히 유지한다.
• 중량 모델에서 지식 증착을 활용하여 추출된 하위 네트워크를 빠르게 미세 조정하여, 모델당 총 훈련 비용을 15 GPU 시간으로 줄인다.

실험 결과

연구 질문

• RQ1 미분 가능한 NAS 방법이 아키텍처 이산화 과정까지 포함하여 전체 검색 과정 동안 하드 지연 시간 제약 조건을 강제로 구현할 수 있는가?
• RQ2 하드 제약 조건을 강제로 적용할 경우, 소프트 제약 조건을 적용한 방법과 비교해 최종 아키텍처의 정확도와 제약 준수 정도에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 추가 훈련 비용이 최소한이면서도 다양한 장치와 지연 시간 목표에 대해 효율적으로 확장 가능한가?
• RQ4 제안된 한 번에 학습 및 지식 증착 기반의 접근 방식이 다시 시작부터 훈련하는 것에 비해 최종 모델 생성에 소요되는 시간과 비용을 얼마나 줄일 수 있는가?
• RQ5 BC-SFW 최적화 방법이 소프트 페널티를 사용한 경사 하강법에 비해 제약 준수 정도와 수렴 속도 측면에서 어떻게 비교되는가?

주요 결과

• HardCoRe-NAS는 모든 지연 시간 수준에서 ImageNet에서 최고 성능을 기록하며, MobileNet V3, TF-NAS, MNAS-NET, SPNAS 등의 방법을 모두 능가한다.
• 모든 테스트된 지연 시간 수준(35–60ms)에서 사용자 정의 지연 시간 제약 조건을 엄격히 준수하며, 이산화 과정 중에 제약 위반 사례가 전혀 관찰되지 않았다.
• 기존 NAS에서 흔히 사용되는 argmax 투영 방법은 지연 시간 제약 조건을 최대 10% 위반할 수 있으나, HardCoRe-NAS에서 제안한 투영 방법은 정확한 준수를 유지한다.
• 지식 증착을 활용하면 하위 네트워크당 15 GPU 시간 내에 모델 생성이 가능하여 총 비용을 400 + 15N 시간으로 줄였으며, OFA의 1200 + 25N 시간보다 크게 감소시켰다.
• BC-SFW 알고리즘은 더 빠른 수렴 속도를 보이며 최적화 전 과정에서 하드 제약 조건을 유지하는 반면, 소프트 페널티를 사용한 경사 하강법는 하이퍼파rameter 조정에 민감하고 자주 제약을 위반한다.
• 다중 경로 샘플링은 프록시 정확도와 최종 정확도 간 상관관계(ρ = 0.99)를 향상시키고 켄달의 τ를 0.35 향상시켜 아키텍처 순위 매기기의 신뢰도를 높였다.