[논문 리뷰] Best Practices for Scientific Research on Neural Architecture Search

Marius Lindauer, Frank Hutter|arXiv (Cornell University)|2019. 09. 05.

Machine Learning and Data Classification참고 문헌 53인용 수 90

한 줄 요약

이 논문은 재현성 개선, 공정한 평가, 및 NAS 연구의 진전을 촉진하기 위한 코드 공개, 벤치마크, ablations 및 표준화된 보고를 포함한 NAS 연구의 모범 사례를 포괄적으로 제시합니다.

ABSTRACT

Finding a well-performing architecture is often tedious for both DL practitioners and researchers, leading to tremendous interest in the automation of this task by means of neural architecture search (NAS). Although the community has made major strides in developing better NAS methods, the quality of scientific empirical evaluations in the young field of NAS is still lacking behind that of other areas of machine learning. To address this issue, we describe a set of possible issues and ways to avoid them, leading to the NAS best practices checklist available at http://automl.org/nas_checklist.pdf.

연구 동기 및 목표

• NAS 실험에서 재현성과 투명성 촉진
• NAS의 경험적 평가 품질을 개선하기 위한 규범적 체크리스트 제공
• 공정한 비교를 위한 표준화된 벤치마크와 오픈 소스 도구의 사용 장려

제안 방법

• 재현성과 공정한 비교를 가능하게 하도록 훈련 파이프라인과 NAS 방법 코드를 공개할 것을 권장
• 비교 가능한 결과를 보장하기 위해 NAS 벤치마크(데이터셋, 탐색 공간, 훈련 파이프라인) 사용을 권장
• NAS 방법의 각 구성 요소의 기여도를 분리하기 위한 ablation 연구를 수행할 것을 제안
• 결과를 맥락화하기 위해 컴퓨트 자원 함수로 성능을 보고하는 것을 제안
• 무작위 샘플링 및 무작위 탐색과 같은 간단한 기준선 및 다중 시드를 사용한 비교를 통해 확률적 특성을 평가하도록 권장
• 전체 실험이 자원적으로 부담될 때 표형/대리 벤치마크를 활용하도록 권장하여 대규모의 재현 가능한 평가를 가능하게 한다

실험 결과

연구 질문

• RQ1 NAS 실험은 서로 다른 연구자와 데이터셋 간 재현성을 보장하도록 어떻게 설계되어야 하는가?
• RQ2 어떤 벤치마킹 및 보고 표준이 NAS 방법의 공정한 비교를 가장 잘 지원하는가?
• RQ3 어떤 기준선 비교 및 실험 관행(예: ablations, 다중 시드)이 강건한 NAS 평가에 필요한가?
• RQ4 벤치마크 및 오픈 소스 도구가 NAS 연구의 혼동 요소를 어떻게 줄일 수 있는가?

주요 결과

• 코드와 훈련 파이프라인이 공개되어야 NAS 방법 간의 의미 있는 비교를 촉진할 수 있습니다.
• NAS 벤치마크는 데이터셋, 탐색 공간, 훈련 파이프라인을 정의하고 실행 가능한 코드를 제공해야 공정한 평가가 가능해집니다.
• Ablation 연구는 NAS 성능을 이끄는 구성 요소를 이해하는 데 필수적입니다.
• 결과는 엔드 투 엔드 비용을 고려하여 컴퓨트 자원의 함수로 보고해야 합니다.
• 비교에는 무작위 샘플링 및 무작위 탐색과 같은 간단한 기준선과 다중 시드를 포함해야 합니다.
• 전체 실험이 너무 자원 소모적일 때 표형 또는 대리 벤치마크를 통해 대규모의 재현 가능한 연구를 가능하게 하는 것이 권장됩니다.