[논문 리뷰] Core-set Sampling for Efficient Neural Architecture Search

Jae-hun Shim, Kyeongbo Kong외 1명|arXiv (Cornell University)|2021. 07. 08.

Advanced Neural Network Applications참고 문헌 48인용 수 11

한 줄 요약

이 논문은 신경망 아키텍처 탐색(NAS)의 효율성을 높이기 위해 핵심집합(core-set) 샘플링을 제안한다. 이 방법은 데이터 분포를 유지하는 대표적인 훈련 데이터의 부분집합을 선택함으로써, 인셉션v3 특징과 같은 시각적으로 의미 있는 임베딩에 기반한 탐욕적 k-센터 알고리즘을 사용하여, 단일 RTX 3090 GPU에서 검색 시간을 30.8시간에서 3.5시간으로 8.8배 단축시키며, 전체 데이터셋을 사용한 검색과 유사한 정확도를 유지한다.

ABSTRACT

Neural architecture search (NAS), an important branch of automatic machine learning, has become an effective approach to automate the design of deep learning models. However, the major issue in NAS is how to reduce the large search time imposed by the heavy computational burden. While most recent approaches focus on pruning redundant sets or developing new search methodologies, this paper attempts to formulate the problem based on the data curation manner. Our key strategy is to search the architecture using summarized data distribution, i.e., core-set. Typically, many NAS algorithms separate searching and training stages, and the proposed core-set methodology is only used in search stage, thus their performance degradation can be minimized. In our experiments, we were able to save overall computational time from 30.8 hours to 3.5 hours, 8.8x reduction, on a single RTX 3090 GPU without sacrificing accuracy.

연구 동기 및 목표

• 모델 정확도를 훼손하지 않으면서 신경망 아키텍처 탐색(NAS)의 높은 계산 비용을 줄이기 위해.
• 랜덤 데이터 샘플링의 비효율성을 해결하기 위해 데이터 분포를 유지하는 대표적인 부분집합을 선택함으로써.
• 핵심집합 선택—데이터 분포 모방 기반—이 랜덤 샘플링이나 전이 학습보다 NAS에서 우월한 성능을 낼 수 있는지 탐색하기 위해.
• 전체 데이터셋 훈련에 대한 대안으로 핵심집합 선택을 통한 데이터 정제가 검색 단계에서 실현 가능하고 효율적인 방법임을 입증하기 위해.
• 핵심집합 샘플링을 NAS의 새로운 패러다임으로 정립하기 위해, 가중치 공유나 프록시 데이터셋 전이 방법과는 구별되는 방식으로.

제안 방법

• 사전 훈련된 모델(예: Inceptionv3, ResNet50, Places365, SwAV)을 사용해 입력 이미지를 고수준의 임베딩 공간으로 매핑하여 시각적으로 의미 있는 특징을 추출한다.
• 모든 데이터 포인트까지의 최대 거리를 최소화하는 방식으로, 데이터 매니폴드를 포괄하는 핵심집합 샘플을 선택하기 위해 탐욕적 k-센터 알고리즘을 적용한다.
• 핵심집합 선택을 위한 유사도 측정 지표로 임bedded 특징 간 유클리드 거리를 사용한다.
• 검색 단계 동안은 핵심집합에서만 NAS를 수행하고, 최종 아키텍처는 전체 데이터셋에서 재학습한다.
• 다양한 평가 지표를 기반으로, 여러 평가에서 가장 우수한 핵심집합 성능를 보이는 임베딩 모델(예: ImageNet에서의 Inceptionv3)을 선택한다.
• 선택 비율(예: 2%, 5%, 10%)을 조정하여 최소한의 검색 시간과 최대한의 성능 충실도를 확보한다.

실험 결과

연구 질문

• RQ1 데이터 분포 모방 기반의 핵심집합 선택이 NAS 검색 시간을 크게 단축시키면서도 최종 모델 정확도를 떨어뜨리지 않을 수 있는가?
• RQ2 랜덤 샘플링과 전이 학습(예: CIFAR-10에서 검색한 후 Tiny-ImageNet에 전이)에 비해 핵심집합 샘플링은 검색 효율성과 최종 정확도 측면에서 어떻게 비교되는가?
• RQ3 사전 훈련된 임베딩 모델(예: Inceptionv3, ResNet50, SwAV) 중에서 목표 데이터셋에 대해 가장 효과적인 핵심집합을 생성하는 것은 무엇인가?
• RQ4 검색 속도와 성능 간 균형을 고려할 때, 핵심집합 샘플링에 가장 적합한 선택 비율(예: 2%, 5%, 10%)은 무엇인가?
• RQ5 핵심집합 선택은 특히 검색과 훈련 단계를 분리하는 NAS 프레임워크에 일반화될 수 있는가?

주요 결과

• 핵심집합 샘플링은 단일 RTX 3090 GPU에서 NAS 검색 시간을 30.8시간에서 3.5시간으로 8.8배 단축시켰으며, 유의미한 정확도 저하 없이 성능을 유지했다.
• 10% 핵심집합 데이터로 검색한 모델의 테스트 정확도는 전체 데이터셋으로 훈련한 모델과 0.15% 이내로 매우 유사한 성능를 보였다.
• Inceptionv3 임베딩을 사용한 핵심집합 선택은 다른 임베딩(ResNet50, Places365, SwAV)보다 뛰어난 성능를 보였으며, 10% 비율에서 랜덤 샘플링보다 2.1% 높은 정확도를 달성했다.
• 모든 선택 비율(2%, 5%, 10%)에서 핵심집합 선택은 랜덤 샘플링보다 최대 2.07% 높은 테스트 정확도를 기록했다.
• Tiny-ImageNet에서의 모든 비교 NAS 방법 중에서 본 연구 방법이 가장 높은 테스트 정확도(84.2%)를 기록했으며, CIFAR-10에서 검색한 전이 학습 기반 모델을 모두 능가했다.
• 핵심집합 선택은 전이 학습보다 더 효과적이었으며, 높은 비용이 들던 이전 연구 대비 뿌리 0.15 GPU-일의 검색 시간으로도 더 높은 정확도를 달성했다.