[논문 리뷰] DAAS: Differentiable Architecture and Augmentation Policy Search

Xiaoxing Wang, Xiangxiang Chu외 2명|arXiv (Cornell University)|2021. 09. 30.

Advanced Neural Network Applications참고 문헌 32인용 수 4

한 줄 요약

DAAS는 신경망 아키텍처 탐색을 위해 Gumbel-softmax를 활용한 이중 최적화와 데이터 증강 정책 탐색를 위해 정책 기반 2차 근사법을 사용하는 미분 가능 연속 탐색 프레임워크를 제안한다. 이는 1개의 GPU-일 동안 CIFAR-10에서 97.91%의 정확도와 ImageNet에서 76.6%의 top-1 정확도를 달성하며, 기존 방법보다 CIFAR-10에서 최대 0.5% 향상되고 ImageNet에서 최대 1.0% 향상되는 연속 최적화를 통해 우수한 성능을 보인다.

ABSTRACT

Neural architecture search (NAS) has been an active direction of automatic machine learning (Auto-ML), aiming to explore efficient network structures. The searched architecture is evaluated by training on datasets with fixed data augmentation policies. However, recent works on auto-augmentation show that the suited augmentation policies can vary over different structures. Therefore, this work considers the possible coupling between neural architectures and data augmentation and proposes an effective algorithm jointly searching for them. Specifically, 1) for the NAS task, we adopt a single-path based differentiable method with Gumbel-softmax reparameterization strategy due to its memory efficiency; 2) for the auto-augmentation task, we introduce a novel search method based on policy gradient algorithm, which can significantly reduce the computation complexity. Our approach achieves 97.91% accuracy on CIFAR-10 and 76.6% Top-1 accuracy on ImageNet dataset, showing the outstanding performance of our search algorithm.

연구 동기 및 목표

• NAS와 AA가 별도로 최적화되는 데서 기인하는 한계를 해결하기 위해, 고정된 증강 정책이 아키텍처 평가에 편향을 줄 수 있음을 고려한다.
• 신경망 아키텍처와 데이터 증강 정책 간의 상호의존성을 규명하여, 최적의 정책이 아키텍처에 따라 달라짐을 보여준다.
• 성능 향상을 위해 아키텍처와 증강 정책을 동시에 최적화하는 연속 탐색 프레임워크를 제안한다.
• 기존의 미분 가능 자동 증강 방법에서 발생하는 편향된 기울기 근사 문제를 해결하기 위해 정책 기반 2차 근사법을 도입한다.
• 독립적인 NAS와 AA 최적화에 비해 연속 탐색이 모델 정확도를 크게 향상시킴을 입증한다.

제안 방법

• Gumbel-softmax 재구성 기법을 통해 아키텍처 파라미터를 업데이트하고, 정책 기반 2차 근사법을 통해 증강 파라미터를 업데이트하는 이중 최적화 문제를 수립한다.
• 비미분 가능 증강 파라미터의 기울기를 추정하기 위해 새로운 정책 기반 방법을 제안하여, 기존 방법에서 발생하는 편향된 기울기 근사 문제를 피한다.
• 각 학습 반복에서 슈퍼넷 엣지의 부분 집합을 샘플링하여 계산 비용을 줄이는 메모리 효율적인 NAS 전략을 도입한다.
• DARTS 기반 아키텍처 탐색과 운영 유형, 강도, 적용 확률를 포함한 풍부한 증강 정책 공간을 결합한 미분 가능 탐색 공간을 사용한다.
• NAS와 AA의 내부 최적화 루프에서 모두 2차 근사를 적용하여 종단 간 기울기 기반 최적화를 가능하게 한다.
• 이중 단계 학습 프로세스를 적용한다: 첫 번째 단계는 아키텍처와 증강 정책의 연속 탐색; 두 번째 단계는 발견된 모델을 기본 정책과 탐색된 정책 하에서 모두 완전히 학습하여 성능을 검증한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처와 데이터 증강 정책을 동시에 최적화하면 별도 최적화에 비해 더 높은 모델 성능을 달성할 수 있는가?
• RQ2 기존 방법에서 편향된 기울기 근사 문제를 해결하기 위해 정책 기반 2차 근사법을 도입하면 자동 증강의 정확도와 효율성이 향상되는가?
• RQ3 탐색된 증강 정책을 사용할 때와 고정된 기본 정책을 사용할 때의 NAS 모델 성능는 어떻게 달라지는가?
• RQ4 특정 신경망 아키텍처에 따라 최적의 데이터 증강 정책이 얼마나 달라지는가?
• RQ5 최소한의 계산 비용(예: 1 GPU-일)으로 연속 탐색 프레임워크가 최신 기준 정확도를 달성할 수 있는가?

주요 결과

• DAAS는 CIFAR-10에서 97.91%의 top-1 정확도와 ImageNet에서 76.6%의 top-1 정확도를 달성하여, 기존 NAS 방법보다 최대 0.5%와 1.0% 향상되었다.
• CIFAR-10에서 연속 탐색 프레임워크는 독립 탐색보다 평균 0.2% 높은 성능(2.24% 대 2.38% top-1 오류)을 기록했다.
• 기본 정책이 아닌 탐색된 증강 정책을 사용할 경우 아키텍처 성능이 최대 0.5% 향상되어 정책-아키텍처 상호의존성의 중요성을 입증했다.
• 정책 기반 방법은 기존의 미분 가능 AA 방법을 뛰어넘고, 원본 AA(Cubuk et al., 2019)조차도 4개의 벤치마크에서 성능을 뛰어넘었으며, 탐색 비용은 1 GPU-일 미만이었다.
• 제거 실험 결과, 별도로 탐색된 아키텍처와 정책의 혼합 조합은 짝지어진 조합보다 성능이 열 劣하므로 연속 탐색의 가치를 확인했다.
• 제안된 방법은 정책 기반 기울기 추정을 통해 2차 편미분을 단순화함으로써 계산 비용을 줄였으며, 기존 접근법에서 발생하는 편향된 기울기 근사 문제를 피했다.