[논문 리뷰] Efficient Architecture Search for Diverse Tasks

Jun-Hong Shen, Mikhail Khodak외 1명|arXiv (Cornell University)|2022. 04. 15.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 다양한 컨볼루션 네트워크의 커널 크기와 확장률을 효율적으로 탐색하여 여러 도메인에서 성능을 향상시키는 미분 가능 신경망 아키텍처 탐색 방법인 Dash를 제안한다. 푸리에 대각화와 커널 혼합을 활용하여 기준 방법 대비 최대 10배 빠른 탐색 속도를 달성하면서도, 10개의 다양한 작업 중 7개에서 최신 자동화 머신러닝(AutoML) 기법을 능가한다. 이는 단백질 접힘과 PDE 해결을 포함한다.

ABSTRACT

While neural architecture search (NAS) has enabled automated machine learning (AutoML) for well-researched areas, its application to tasks beyond computer vision is still under-explored. As less-studied domains are precisely those where we expect AutoML to have the greatest impact, in this work we study NAS for efficiently solving diverse problems. Seeking an approach that is fast, simple, and broadly applicable, we fix a standard convolutional network (CNN) topology and propose to search for the right kernel sizes and dilations its operations should take on. This dramatically expands the model's capacity to extract features at multiple resolutions for different types of data while only requiring search over the operation space. To overcome the efficiency challenges of naive weight-sharing in this search space, we introduce DASH, a differentiable NAS algorithm that computes the mixture-of-operations using the Fourier diagonalization of convolution, achieving both a better asymptotic complexity and an up-to-10x search time speedup in practice. We evaluate DASH on ten tasks spanning a variety of application domains such as PDE solving, protein folding, and heart disease detection. DASH outperforms state-of-the-art AutoML methods in aggregate, attaining the best-known automated performance on seven tasks. Meanwhile, on six of the ten tasks, the combined search and retraining time is less than 2x slower than simply training a CNN backbone that is far less accurate.

연구 동기 및 목표

• 기존의 NAS 기법이 컴퓨터 비전과 자연어 처리 외의 분야로의 일반화 부족 문제를 해결한다.
• 생물학, 헬스케어, 물리학 등 아직 탐색이 부족한 다양한 도메인에서도 높은 정확도를 유지하면서 효율적이고 확장 가능한 NAS 접근법을 개발한다.
• 기본 컨볼루션 신경망에서 큰 커널 크기와 확장률을 탐색할 때 발생하는 계산적 병목 현상을 해결하면서도 속도나 모델 효율성을 희생하지 않는다.
• 기존의 미분 가능 NAS보다 더 빠르고 이산 탐색 공간보다 더 표현력이 뛰어난 방법을 설계하여 보다 넓은 적용 가능성을 확보한다.
• 자동 아키텍처 탐색이 수작업으로 설계된 모델을 뛰어넘는 성능을 달성하면서도 실세계 적용에 실용적인 방법이 될 수 있음을 입증한다.

제안 방법

• 표준 CNN 백본을 고정하고, 커널 크기(최대 15)와 확장률(최대 127)을 변화시켜 정의된 크로스스케일 연산자 공간을 탐색함으로써 다중 해상도 특징 추출을 가능하게 한다.
• 다양한 컨볼루션을 하나의 복합 커널을 가진 단일 컨볼루션으로 조합하는 커널 혼합 기법을 도입하여 복잡도를 O(|K||D|)에서 O(1)로 감소시킨다.
• 컨볼루션의 푸리에 대각화를 적용하여 계산 비용을 O(nk)에서 O(n log n)로 감소시켜 큰 커널을 효율적으로 처리할 수 있도록 한다.
• 비희소 행렬과 비희소 커널의 크로네cker 곱을 활용해 GPU에서 확장된 컨볼루션 연산을 가속화하여 추가적인 속도 향상을 달성한다.
• 공유 슈퍼넷을 사용하는 미분 가능 탐색 프레임워크를 도입하고, 이어서 이산 아키텍처 선택과 재학습을 수행함으로써 실용적인 구현을 보장한다.
• 학습된 아키텍처를 기존 백본(예: Wide ResNet, ConvNeXt, TCN)에 통합하여 백본에 종속되지 않는 성능 향상을 달성한다.

실험 결과

연구 질문

• RQ1 큰 커널 크기와 높은 확장률을 탐색할 수 있는 미분 가능 NAS 방법이 다양한 비시각적 작업에서 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 푸리에 기반 컨볼루션 대각화 기법을 사용하면 큰 커널에 대한 탐색을 비용이 과도하게 증가하지 않도록 확장 가능하게 할 수 있는가?
• RQ3 단일 아키텍처 탐색 방법이 의료, 물리학, 생물학 등 다양한 도메인에서 수작업으로 설계된 모델과 비교해도 유사하거나 뛰어난 성능을 달성할 수 있는가?
• RQ4 기존의 작은 커널 기반 NAS 방법을 크게 초월하는 탐색 공간을 확장하면서도 높은 탐색 효율성을 유지할 수 있는가?
• RQ5 학습된 아키텍처 패턴이 데이터의 내재적 특성이나 작업별 인도크티브 바이어스를 어떻게 드러낼 수 있는가?

주요 결과

• Dash는 심장병 진단, 단백질 접힘, PDE 해결을 포함한 10개의 다양한 작업 중 7개에서 기존 최고 성능을 달성한다.
• 10개 작업의 6개에서 Dash의 탐색 및 재학습 시간이 표준 Wide ResNet 학습 시간의 두 배 이내로, 높은 실용적 효율성을 입증한다.
• DARTS와 같은 기준 방법 대비 Dash는 탐색 시간을 최대 10배 단축시키면서도 정확도를 유지하거나 향상시킨다.
• ImageNet에서 Dash는 ConvNeXt 백본 대비 상위 1% 정확도를 1.4% 향상시켜 인간이 수작업으로 최적화한 모델조차 뛰어넘는 성능을 보였다.
• 이 방법은 백본에 종속되지 않으며, TCN 및 ConvNeXt에서도 성능 향상을 성공적으로 달성하여 다양한 아키텍처와의 호환성을 입증했다.
• 집합 컨볼루션 메커니즘은 모델 효율성이나 정확도를 희생시키지 않으면서도 큰 커널 공간에서 효율적이고 미분 가능한 탐색을 가능하게 한다.