[논문 리뷰] Are Labels Necessary for Neural Architecture Search?

Chenxi Liu, Piotr Dollár외 4명|arXiv (Cornell University)|2020. 03. 26.

Machine Learning and Data Classification참고 문헌 33인용 수 5

한 줄 요약

이 논문은 레이블이 신경망 아키텍처 탐색(NAS)에 필수적인지 여쭤보며, 레이블 없이 이미지 자료만을 사용해 고성능 아키텍처를 발견하는 데에 초점을 맞춘 비지도 신경망 아키텍처 탐색(UnNAS)을 제안한다. 실험 결과, 지도 학습 기반의 성능과 비지도 학습 기반의 순위 간 상관관계가 매우 높으며, UnNAS로 최적화된 모델은 ImageNet과 Cityscapes에서 지도 학습 기반 NAS 기준선에 비해 경쟁력 있거나 뛰어난 정확도를 달성한다.

ABSTRACT

Existing neural network architectures in computer vision -- whether designed by humans or by machines -- were typically found using both images and their associated labels. In this paper, we ask the question: can we find high-quality neural architectures using only images, but no human-annotated labels? To answer this question, we first define a new setup called Unsupervised Neural Architecture Search (UnNAS). We then conduct two sets of experiments. In sample-based experiments, we train a large number (500) of diverse architectures with either supervised or unsupervised objectives, and find that the architecture rankings produced with and without labels are highly correlated. In search-based experiments, we run a well-established NAS algorithm (DARTS) using various unsupervised objectives, and report that the architectures searched without labels can be competitive to their counterparts searched with labels. Together, these results reveal the potentially surprising finding that labels are not necessary, and the image statistics alone may be sufficient to identify good neural architectures.

연구 동기 및 목표

• 인간이 애너테이션한 레이블이 효과적인 신경망 아키텍처 탐색을 위해 필수적인지 여쭤보는 것.
• 레이블 없이도 이미지 데이터만을 사용해 고품질 신경망 아키텍처를 발견할 수 있는지 탐색하는 것.
• 비지도 또는 자기지도 사전 학습 태스크가 아키텍처 탐색의 효과적인 대체 수단이 될 수 있는지 평가하는 것.
• 레이블 없이 발견된 아키텍처가 다양한 후행 작업과 데이터셋에서 이식 가능성과 강건성을 가지는지 평가하는 것.

제안 방법

• 아키텍처 탐색 중 지도 학습 목표를 자기지도 사전 학습 태스크로 대체하는 새로운 설정인 비지도 신경망 아키텍처 탐색(UnNAS)을 제안한다.
• 세 가지 자기지도 학습 방법—Jigsaw, Rotation, SimCLR—을 사용해 아키텍처를 훈련하고 평가하는 비지도 목표로 활용한다.
• 표본 기반 실험을 수행하여, 500개의 무작위로 선택된 아키텍처를 지도 학습 및 비지도 학습 목표로 훈련하고 순위 상관관계를 비교한다.
• 탐색 기반 실험을 수행하여 DARTS의 지도 학습 손실을 비지도 목표로 대체하고, 그 결과로 나온 아키텍처를 ImageNet과 Cityscapes에서 평가한다.
• 지도 학습과 비지도 학습 기반 아키텍처 순위 간 일관성을 측정하기 위해 순위 상관관계(Spearman의 rho)를 사용한다.
• 최종 아키텍처를 표준 벤치마크에서 평가한다: ImageNet의 상위-1 정확도와 Cityscapes의 세그먼테이션에 대한 mIoU.

실험 결과

연구 질문

• RQ1 레이블 없이도 인간이 애너테이션한 레이블 없이 이미지 자료만으로 고성능 신경망 아키텍처를 발견할 수 있는가?
• RQ2 지도 학습과 비지도 학습 기반의 아키텍처 순위 간 상관관계는 얼마나 높은가?
• RQ3 비지도 학습 기반 목표로 탐색된 아키텍처는 ImageNet 분류나 Cityscapes 세그먼테이션과 같은 후행 작업에서 경쟁력 있는 성능을 보이는가?
• RQ4 UnNAS로 최적화된 아키텍처의 성능은 기존의 전통적 지도 학습 기반 NAS로 발견된 아키텍처와 비교해 유사하거나 뛰어나게 되는가?
• RQ5 검색 데이터셋의 분포(예: ImageNet 대비 COCO)가 비지도 학습 기반 아키텍처의 이식 가능성에 영향을 주는가?

주요 결과

• 여러 데이터셋, 검색 공간, 사전 학습 태스크에서 지도 학습과 비지도 학습 기반 아키텍처 순위 간 상관관계가 매우 높으며, 스피어만 순위 상관계수(ρ ≈ 0.8)를 보인다.
• UnNAS로 최적화된 DARTS 아키텍처는 ImageNet에서 76.1%의 상위-1 정확도를 달성하여 지도 학습 기반 DARTS 기준선을 뛰어넘고, 동일한 검색 공간에서 이전 최고 성능인 75.8%를 초월한다.
• Cityscapes 세그먼테이션 작업에서 최고의 UnNAS 버전(Cityscapes Jigsaw)은 74.1%의 mIoU를 기록하여 지도 학습 기반 DARTS 기준선보다 1.5% 높은 성능을 보였다.
• 일부 사례에서는 레이블 없이 발견된 아키텍처가 지도 학습 기반 아키텍처를 뛰어넘는 성능을 보였으며, 이는 좋은 아키텍처를 찾는 데 있어 레이블이 반드시 필요하지 않음을 시사한다.
• UnNAS의 성능은 다양한 후행 작업(분류, 세그먼테이션)과 검색 데이터셋(CIFAR-10, ImageNet, COCO)에서 강건하게 유지되어, 발견된 아키텍처의 강력한 일반화 능력을 보여준다.
• 결과적으로 이미지 통계만으로도 효과적인 아키텍처 탐색을 이끄는 충분한 인덕티브 바이어스를 암시할 수 있으며, 이는 레이블이 필수적이라는 가정을 도전한다.