[논문 리뷰] Fine-Grained Stochastic Architecture Search

Shraman Ray Chaudhuri, Elad Eban외 3명|arXiv (Cornell University)|2020. 06. 17.

Advanced Neural Network Applications참고 문헌 41인용 수 4

한 줄 요약

FiGS는 로지스틱-시그모이드 분포를 통해 구조적 희소성 정규화를 적용함으로써 연속적인 기반의 세밀한 신경망 아키텍처 탐색 방법을 제안한다. 이는 연산자와 특징 맵을 동시에 선택하고 수정함으로써 기존의 연속적 NAS 방법보다 훨씬 넓은 아키텍처 공간 탐색을 가능하게 한다. FiGS는 ImageNet에서 260만 파라미터로 75.4%의 top-1 정확도를 달성하여 최신 기준 성능을 확립하였고, SSDLite를 사용한 COCO 객체 검출에서 mAP를 +4 향상시켜 MobileNetV3와 MnasNet을 능가한다.

ABSTRACT

State-of-the-art deep networks are often too large to deploy on mobile devices and embedded systems. Mobile neural architecture search (NAS) methods automate the design of small models but state-of-the-art NAS methods are expensive to run. Differentiable neural architecture search (DNAS) methods reduce the search cost but explore a limited subspace of candidate architectures. In this paper, we introduce Fine-Grained Stochastic Architecture Search (FiGS), a differentiable search method that searches over a much larger set of candidate architectures. FiGS simultaneously selects and modifies operators in the search space by applying a structured sparse regularization penalty based on the Logistic-Sigmoid distribution. We show results across 3 existing search spaces, matching or outperforming the original search algorithms and producing state-of-the-art parameter-efficient models on ImageNet (e.g., 75.4% top-1 with 2.6M params). Using our architectures as backbones for object detection with SSDLite, we achieve significantly higher mAP on COCO (e.g., 25.8 with 3.0M params) than MobileNetV3 and MnasNet.

연구 동기 및 목표

• 기존의 연속적 NAS 방법이 고정된 연산자 집합으로 인해 아키텍처의 좁은 부분공간만 탐색한다는 한계를 해결하기 위해.
• 더 높은 표현력을 확보하기 위해 연산자 선택과 아키텍처 수정(예: 채널 프루닝)을 동시에 탐색할 수 있도록 하기 위해.
• 다양한 자원 제약 조건 하에서 모델 효율성과 정확도를 유지하거나 향상시키면서 탐색 비용을 줄이기 위해.
• 기존의 탐색 공간을 재설계할 필요 없이 어떤 기존 탐색 공간에도 즉시 적용 가능한 플러그 앤 플레이 방식을 제공하기 위해.
• 모델 크기와 FLOPs/지연 시간 모두에 대해 파레토 효율적인 모델을 발견함으로써 모바일 및 엣지 디바이스에 광범위하게 배포할 수 있도록 하기 위해.

제안 방법

• FiGS는 각 출력 채널 또는 뉴런에 베르누이 마스크를 할당하고, 이를 로지스틱-시그모이드 분포를 통해 연속적으로 풀어내어 기울기 하강법을 통한 학습이 가능하도록 한다.
• 로지스틱-시그모이드 분포를 기반으로 한 구조적 희소성 정규화 페널티를 적용하여 기울기 하강법을 통해 최적의 마스크 확률을 학습한다.
• 마스크는 각 레이어와 연산 후에 적용되어 중간 특징과 연산자 출력에 대한 세밀한 제어를 가능하게 한다.
• 최종 아키텍처는 추론 시 학습된 마스크 분포에서 샘플링하여 내보낸다.
• 이 방법은 어떤 기존 DNAS 탐색 공간과도 호환되며, 각 레이어 후에 마스크 레이어를 삽입하기만 하면 된다.
• FiGS는 최소한의 정확도 손실로 조기 정지가 가능하여, 전체 학습 대비 최대 5배의 탐색 시간 단축을 가능하게 한다.

실험 결과

연구 질문

• RQ1 최적화 과정에서 연산자 선택 외에도 특징 맵의 차원을 수정함으로써, 연속적 NAS 방법이 훨씬 더 넓은 아키텍처 공간을 탐색할 수 있는가?
• RQ2 One-Shot 및 MnasNet과 같은 기존의 탐색 공간에 적용했을 때 FiGS의 성능은 원래의 탐색 알고리즘과 비교해 어떻게 되는가?
• RQ3 FiGS는 모델 크기와 FLOPs/지연 시간 모두에 대해 얼마나 높은 수준의 파레토 효율적인 모델을 발견할 수 있으며, 이러한 트레이드오프는 다양한 탐색 공간에서 어떻게 변화하는가?
• RQ4 FiGS는 ImageNet에서 완전히 새로운 모델을 훈련시킬 때 최신 기준의 소형 모델을 생성할 수 있으며, 객체 검출과 같은 후속 작업에서의 성능은 어떠한가?
• RQ5 FiGS는 정확도 저하 없이 조기 정지 기법을 통해 탐색 비용을 크게 줄일 수 있는가?

주요 결과

• FiGS는 단지 260만 개의 파라미터로 ImageNet에서 75.4%의 top-1 정확도를 달성하여 파라미터 효율적인 모델 분야에서 새로운 최신 기준을 수립하였다.
• SSDLite를 사용한 COCO 객체 검출에서 FiGS-One-Shot-Large는 302만 개의 파라미터로 25.8 mAP를 기록하여, 파라미터가 더 많은 MobileNetV3-Large(21.8 mAP)와 MnasNet-A1(23.0 mAP)를 능가하였다.
• One-Shot 탐색 공간에 적용했을 때 FiGS는 원래의 탐색 알고리즘과 동일하거나 이를 초월하는 성능을 보였으며, 다양한 탐색 공간에서의 강력한 일반화 능력을 입증하였다.
• FiGS는 40 에포크에서 조기 정지를 가능하게 하여 전체 학습 대비 정확도 손실이 0.3–0.6%에 그치며 탐색 시간을 2.5배 단축시켰다.
• ResNet 모델에 적용했을 때 FiGS는 표준 프루닝 기반 방법을 능가하며, 구조적 아키텍처 탐색에서 뛰어난 성능을 보였다.
• 이 방법은 기존 탐색 공간 내에 내재된 편향을 드러내었다: 일부 탐색 공간은 모델 크기 효율성을 선호하고, 다른 일부는 FLOPs/지연 시간 효율성을 선호함으로써, 탐색 공간 설계의 트레이드오프를 더 깊이 이해할 수 있도록 하였다.