[논문 리뷰] Automated Deep Learning: Neural Architecture Search Is Not the End

Xuanyi Dong, David Jacob Kedziora외 2명|arXiv (Cornell University)|2021. 12. 16.

Advanced Neural Network Applications인용 수 15

한 줄 요약

이 논문은 자동화된 딥러닝(AutoDL)에 대한 종합적인 평가를 제시하며, 신경망 아키텍처 탐색(NAS)이 두드러지지만 AutoDL의 유일한 초점은 아니라는 주장을 펼친다. 저자들은 전체 딥러닝 라이프사이클 전반에서 AutoDL 연구를 평가하기 위해 새로움, 솔루션 품질, 효율성, 안정성, 해석 가능성, 재현 가능성, 엔지니어링 품질, 확장성, 일반화 가능성, 생태친화성의 10가지 기준을 도입한다. 이는 NAS를 넘어서 보다 넓고 통합적인 진전을 추구할 것을 주장한다.

ABSTRACT

Deep learning (DL) has proven to be a highly effective approach for developing models in diverse contexts, including visual perception, speech recognition, and machine translation. However, the end-to-end process for applying DL is not trivial. It requires grappling with problem formulation and context understanding, data engineering, model development, deployment, continuous monitoring and maintenance, and so on. Moreover, each of these steps typically relies heavily on humans, in terms of both knowledge and interactions, which impedes the further advancement and democratization of DL. Consequently, in response to these issues, a new field has emerged over the last few years: automated deep learning (AutoDL). This endeavor seeks to minimize the need for human involvement and is best known for its achievements in neural architecture search (NAS), a topic that has been the focus of several surveys. That stated, NAS is not the be-all and end-all of AutoDL. Accordingly, this review adopts an overarching perspective, examining research efforts into automation across the entirety of an archetypal DL workflow. In so doing, this work also proposes a comprehensive set of ten criteria by which to assess existing work in both individual publications and broader research areas. These criteria are: novelty, solution quality, efficiency, stability, interpretability, reproducibility, engineering quality, scalability, generalizability, and eco-friendliness. Thus, ultimately, this review provides an evaluative overview of AutoDL in the early 2020s, identifying where future opportunities for progress may exist.

연구 동기 및 목표

• 신경망 아키텍처 탐색(NAS)에 대한 좁은 초점을 넘어서 전체 딥러닝 라이프사이클에 걸친 자동화를 고려하기 위해.
• 자동화된 딥러닝 연구의 주요 격차, 특히 자동화된 데이터 엔지니어링, 배포, 모델 유지보수와 같은 분야에서의 격차를 특정하기 위해.
• 10가지 기준(새로움, 솔루션 품질, 효율성, 안정성, 해석 가능성, 재현 가능성, 엔지니어링 품질, 확장성, 일반화 가능성, 생태친화성)을 사용한 표준화된 평가 프레임워크를 제안하여 AutoDL 연구의 철학성, 재현 가능성, 영향력을 향상시키기 위해.
• 단기 성능 향상에 치중하기보다는 사용성, 자율성, 장기적 지속 가능성에 우선순위를 두도록 연구 공동체에 도전하기 위해.
• 사람과 제도적 편향을 다루어 장기적 지속 가능성과 더불어 AutoDL의 보다 통합적이고 지속 가능한 발전을 촉진하기 위해.

제안 방법

• 문제 정의, 데이터 엔지니어링, 모델 개발, 하이퍼파rameter 최적화, 배포, 유지보수를 포함한 전체 딥러닝 워크플로우 전반에 걸친 AutoDL 연구에 대한 체계적 리뷰를 수행한다.
• AutoDL 방법을 평가하기 위한 종합적인 10가지 평가 기준(새로움, 솔루션 품질, 효율성, 안정성, 해석 가능성, 재현 가능성, 엔지니어링 품질, 확장성, 일반화 가능성, 생태친화성)을 제안한다.
• 주요 AutoDL 하위 분야의 기존 접근 방식을 분류한다: NAS(블랙박스, 회색박스, 화이트박스), 하이퍼파rameter 최적화(HPO), 자동화된 데이터 엔지니어링, 하드웨어 탐색, 배포 인지 자동화, 모델 유지보수(예: 지속 학습 등).
• 각 하위 분야의 성숙도와 연구 집중도를 분석하여 자동화된 데이터 엔지니어링 및 지속적인 모델 적응과 같은 미비하게 연구된 분야를 식별한다.
• 제안된 기준을 사용해 기존 연구를 평가하고 비판하며, 투명성, 재현 가능성, 장기적 지속 가능성의 필요성을 강조한다.
• 실제 제약 조건과 장기적 시스템 생존 가능성까지 고려하는 더 넓고 책임감 있는 자동화로 연구 문화의 전환을 주장한다.

Figure 1 . Schematic of an end-to-end DL workflow, i.e., the processes involved in applying DL to a problem. Traditionally, human decisions are required for every part of this workflow, such as analyzing a problem context, defining an ML task, designing a model, manually tuning hyperparameters, sele

실험 결과

연구 질문

• RQ1 자동화된 딥러닝(AutoDL) 연구에서 신경망 아키텍처 탐색(NAS)에만 집중할 경우의 주요 한계는 무엇인가요?
• RQ2 모델 정확도와 벤치마크 성능 이외의 기준으로 AutoDL 연구의 품질과 영향력을 객관적으로 평가할 수 있는 방법은 무엇인가요?
• RQ3 딥러닝 라이프사이클의 어느 단계가 AutoDL에서 여전히 미흡하게 연구되고 있으며, 그 이유는 무엇인가요?
• RQ4 현재 AutoDL 방법은 성능 외에 효율성, 재현 가능성, 지속 가능성에 얼마나 중점을 두고 있나요?
• RQ5 연구 공동체는 AutoDL 개발 및 평가에 더 통합적이고 책임감 있는 접근 방식을 어떻게 도입할 수 있나요?

주요 결과

• 신경망 아키텍처 탐색(NAS)은 영향력이 크지만 자동화된 딥러닝(AutoDL)의 궁극적 목표는 아니며, 그에 대한 과도한 의존은 더 넓은 진전을 제한한다.
• 자동화된 데이터 엔지니어링, 하드웨어 탐색, 모델 유지보수와 같은 많은 AutoDL 하위 분야는 실제 배포에서의 핵심 역할을 하므로 연구가 부족한 상태이다.
• 제안된 10가지 평가 기준(예: 해석 가능성, 재현 가능성, 생태친화성)은 성능 지표 외에 AutoDL 연구 평가를 위한 강력한 프레임워크를 제공한다.
• 화이트박스 하이퍼파rameter 최적화(HPO)는 높은 효율성 잠재력을 보이지만 철저한 재현 가능성 연구가 부족하여 장기적 타당성에 대한 우려를 제기한다.
• 배포 인지 AutoDL는 하드웨어 표준화가 이루어지지 않아 하드웨어 탐색보다 더 발전되어 있지만, 양쪽 모두 실제 세계의 확장성에 있어 핵심적인 역할을 한다.
• 연구 집중의 인간적 요인, 즉 단기적 초점, 재현 가능성 부족, 지속 가능성 및 엔지니어링 품질 무시 등이 종단 간 자동화를 저해하고 있다.

Figure 2 . Breakdown schematic for research activity in AutoDL, with surveyed publications attributed to different phases of a DL workflow and then further subcategorized. The pie chart denotes the ratio of publications across all workflow phases, while the white stacked bars denote ratios within ea