[논문 리뷰] Joint Search of Data Augmentation Policies and Network Architectures

Taiga Kashima, Yoshihiro Yamada외 1명|arXiv (Cornell University)|2020. 12. 17.

Data Quality and Management참고 문헌 24인용 수 7

한 줄 요약

이 논문은 향상된 자동 증강(Faster Auto-Augmentation)과 DARTS를 사용하여 데이터 증강 정책과 신경망 아키텍처를 함께 최적화하는 가분성 있고 엔드 투 엔드인 방법을 제안한다. 전체 파이프라인을 가분성 있게 만듦으로써 동시에 최적화가 가능해져, 독립적인 검색 기반 방법에 비해 CIFAR-10, CIFAR-100 및 SVHN에서 경쟁력 있거나 더 높은 정확도를 달성한다.

ABSTRACT

The common pipeline of training deep neural networks consists of several building blocks such as data augmentation and network architecture selection. AutoML is a research field that aims at automatically designing those parts, but most methods explore each part independently because it is more challenging to simultaneously search all the parts. In this paper, we propose a joint optimization method for data augmentation policies and network architectures to bring more automation to the design of training pipeline. The core idea of our approach is to make the whole part differentiable. The proposed method combines differentiable methods for augmentation policy search and network architecture search to jointly optimize them in the end-to-end manner. The experimental results show our method achieves competitive or superior performance to the independently searched results.

연구 동기 및 목표

• 수동으로 데이터 증강 정책과 네트워크 아키텍처를 설계하는 데 드는 시간과 전문 지식의 부담을 줄이기 위해.
• 기존 AutoML 방법들이 증강 정책과 아키텍처를 별도로 최적화하는 데서 비롯하는 한계를 극복하기 위해.
• 가분성 기반 최적화를 통해 양측을 동시에 최적화할 수 있도록 엔드 투 엔드의 공동 최적화를 가능하게 하기 위해.
• 동일한 학습 과정에서 증강과 아키텍처를 함께 최적화함으로써 파이프라인 설계에 필요한 인간의 전문 지식 의존도를 줄이기 위해.

제안 방법

• 이 방법은 가분성 있는 데이터 증강 정책 탐색을 위한 향상된 자동 증강(Faster Auto-Augmentation)과 가분성 있는 신경망 아키텍처 탐색(DARTS)을 결합한다.
• 먼저 가분성 있는 데이터 변환을 적용한 후, 변환된 입력을 가분성 있는 NAS 모듈의 입력으로 사용한다.
• 전체 파이프라인이 완전히 가분성 있게 만들어져, NAS 손실에서 유도된 기울기가 증강 정책 파라미터를 통해 역전파될 수 있도록 한다.
• 검색 공간은 16개의 운영자(기하학적 및 색상 변환 포함) 중에서 선택된 2개의 운영자를 가진 10개의 하위 정책을 포함한다.
• 기울기 기반 최적화를 통해 정책 확률과 아키텍처 운영자를 함께 최적화한다.
• 아키텍처에 특화된 사전 선택이 필요 없도록, 동일한 모델에서 두 구성 요소를 동시에 학습시킴으로써 이를 방지한다.

실험 결과

연구 질문

• RQ1 데이터 증강 정책과 신경망 아키텍처의 공동 최적화가 별도의 검색보다 더 높은 성능을 낼 수 있는가?
• RQ2 엔드 투 엔드 가분성은 순차적 또는 별도의 최적화보다 증강과 아키텍처의 공동 최적화를 더 효과적으로 가능하게 하는가?
• RQ3 아키텍처 탐색 과정에서 최적의 증강 정책은 어떻게 변화하며, 공동 학습이 이러한 동적 종속성을 포착할 수 있는가?
• RQ4 사전에 아키텍처를 선택할 필요 없이 증강 탐색에 대한 인간 간섭을 줄일 수 있는가?
• RQ5 공동 최적화가 다양한 아키텍처에 걸쳐 더 강건하거나 일반화 능력이 뛰어난 정책을 도출할 수 있는가?

주요 결과

• 제안된 방법은 50개의 검색 에포크를 거쳐 CIFAR-10에서 97.40% ± 0.03의 정확도를 달성하였으며, 동일한 설정에서 기준 모델(97.55% ± 0.30)을 능가하였다.
• CIFAR-100에서는 50개의 검색 에포크를 거쳐 79.02% ± 2.14의 정확도를 기록하였으며, 기준 모델(77.96% ± 3.12)을 초월하였다.
• 25개의 검색 에포크를 거치면 CIFAR-10에서 97.46% ± 0.09의 정확도를 달성하였으며, 기준 모델(97.29% ± 0.03)보다 略로 낮았지만 여전히 경쟁 가능했다.
• SVHN에서는 50개의 검색 에포크를 거쳐 97.92% ± 0.12의 정확도를 기록하였으며, 기준 모델(98.02% ± 0.03)보다 略로 낮았지만 표준편차 내에 있었다.
• 학습된 증강 정책는 기하학적 변환보다 색상 향상 운영자(예: 색상, 자동 대비)를 더 선호하는 경향을 보였으며, 특히 45 에포크 이후 이러한 경향이 두드러졌다. 이는 정책가 아키텍처 변화에 적응하고 있음을 시사한다.
• 최적의 증강 정책는 아키텍처에 따라 달라지며, 학습 과정에서 정책과 아키텍처의 분포가 동시에 변화함을 통해 이는 확인되었다.