[논문 리뷰] Self-supervised Neural Architecture Search

Sapir Kaplan, Raja Giryes|arXiv (Cornell University)|2020. 07. 03.

Anomaly Detection Techniques and Applications참고 문헌 44인용 수 11

한 줄 요약

이 논문은 대조적 자기지도 학습 손실을 사용하여 레이블이 없는 데이터에 의존하지 않고 높은 성능을 내는 신경망 아키텍처를 발견하는 자기지도 신경망 아키텍처 탐색(SSNAS)을 제안한다. 이 방법은 지도 학습 기반 NAS 성능을 따라가며, 특히 레이블이 부족한 경우 자기지도 학습을 향상시킨다. 이는 NAS와 SSL이 상호로 향상시킬 수 있음을 보여준다.

ABSTRACT

Neural Architecture Search (NAS) has been used recently to achieve improved performance in various tasks and most prominently in image classification. Yet, current search strategies rely on large labeled datasets, which limit their usage in the case where only a smaller fraction of the data is annotated. Self-supervised learning has shown great promise in training neural networks using unlabeled data. In this work, we propose a self-supervised neural architecture search (SSNAS) that allows finding novel network models without the need for labeled data. We show that such a search leads to comparable results to supervised training with a "fully labeled" NAS and that it can improve the performance of self-supervised learning. Moreover, we demonstrate the advantage of the proposed approach when the number of labels in the search is relatively small.

연구 동기 및 목표

• 현재 신경망 아키텍처 탐색(NAS) 방법이 효과적인 아키텍처 탐색을 위해 대규모 레이블 데이터셋을 필요로 하는 한계를 해결하기 위해.
• 자기지도 학습(SSL)을 활용해 레이블이 없는 데이터만으로도 아키텍처 탐색을 효과적으로 수행할 수 있는지 탐색하기 위해.
• 자기지도 학습 기반 NAS가 최종 모델의 표현 학습 성능을 향상시킬 수 있는지 조사하기 위해.
• 탐색 과정에서 레이블 예제가 매우 적을 경우에도 제안된 방법의 강인성을 평가하기 위해.
• NAS와 SSL 간의 상호 이점, 즉 NAS가 SSL을 향상시키고, SSL이 NAS의 탐색 효율성과 성능을 향상시키는지를 보여주기 위해.

제안 방법

• 차별적 아키텍처 탐색(DARTS) 프레임워크를 지도 학습 손실 대신 대조적 자기지도 학습 손실을 사용하도록 변형한다.
• SimCLR의 대조적 학습 목표를 적용하여 동일한 입력 이미지의 두 개의 증강된 시각을 생성하고, 그들의 표현 간 유사도를 최대화한다.
• 두 증강된 시각에 대해 가중치가 묶인 공통 백본 네트워크를 사용하여 기울기 기반 최적화를 통한 엔드 투 엔드 학습을 가능하게 한다.
• 아키텍처 파라미터 α를 최적화하여 검증 세트에서 아키텍처 탐색을 수행하고, 별도의 학습 세트에서 네트워크 가중치를 학습한다.
• 표준 GPU 메모리에 맞추기 위해 배치 크기를 제한하여 계산 효율성과 실용성을 확보한다.
• 양의 쌍(동일한 이미지의 증강)은 유사한 표현을 가지도록 하고, 음의 쌍은 비유사하도록 유도하는 대조 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 자기지도 학습을 사용하여 레이블이 전혀 없는 데이터로도 신경망 아키텍처 탐색을 효과적으로 수행할 수 있는가?
• RQ2 자기지도 학습 기반 NAS는 최종 모델 정확도 측면에서 지도 학습 기반 NAS와 비교해 유사한 성능을 달성하는가?
• RQ3 자기지도 탐색을 통해 발견된 아키텍처는 후행 자기지도 표현 학습의 성능을 향상시킬 수 있는가?
• RQ4 지도 학습 기반 NAS가 어려움을 겪는 레이블이 적은 환경에서 SSNAS의 성능은 어떠한가?
• RQ5 NAS와 SSL 간의 상호 작용이 단독으로 사용할 경우보다 더 나은 시각적 표현을 만들어낼 수 있는가?

주요 결과

• SSNAS는 CIFAR-10과 CIFAR-100에서 지도 학습 기반 NAS와 유사한 테스트 정확도를 달성하여, 레이블 없이도 아키텍처 탐색이 효과적일 수 있음을 보여준다.
• CIFAR-10에서 1차 근사법을 사용한 SSNAS는 94.73%의 테스트 정확도를 기록했으며, 지도 학습 기반 DARTS의 94.87%와 매우 유사한 성능을 보였다.
• 레이블이 적은 환경에서 SSNAS는 지도 학습 기반 NAS를 초월하여, 클래스당 레이블 예제가 매우 적을 경우에도 강인함을 입증했다.
• SSNAS로 발견된 모델을 사전학습하여 STL-10에서의 준지도 학습 성능을 향상시켰으며, 86.70%의 테스트 정확도를 달성하여 ResNet-18이나 무작위 초기화보다 높은 성능을 보였다.
• 탐색 과정에서 학습 세트와 검증 세트를 분리한 결과, 단일 공유 세트를 사용한 경우보다 성능이 0.63% 향상되어, SSL 기반 NAS에서 데이터 분리의 이점이 확인되었다.
• 연구는 NAS와 SSL이 상호로 이점을 줄 수 있음을 확인했다: SSNAS는 SSL을 향상시키며, SSL은 레이블 없이도 효과적인 NAS를 가능하게 한다.