[논문 리뷰] AutonoML: Towards an Integrated Framework for Autonomous Machine Learning

David Jacob Kedziora, Katarzyna Musiał외 1명|arXiv (Cornell University)|2020. 12. 23.

Machine Learning and Data Classification인용 수 10

한 줄 요약

이 논문은 초모수 최적화, 신경망 아키텍처 탐색, 자동 특징 공학, 메타학습, 동적 적응, 다목적 평가 등을 통합하여 일관된 시스템으로 만드는 자율적 기계학습(AutonoML) 프레임워크를 제안한다. 주요 기여는 이러한 구성 요소들이 자율적으로 적응하고 인간 간섭을 최소화하는 기계학습 생명주기 시스템으로 통합될 수 있음을 보여주는 개념적 아키텍처를 제시하는 것이다.

ABSTRACT

Over the last decade, the long-running endeavour to automate high-level processes in machine learning (ML) has risen to mainstream prominence, stimulated by advances in optimisation techniques and their impact on selecting ML models/algorithms. Central to this drive is the appeal of engineering a computational system that both discovers and deploys high-performance solutions to arbitrary ML problems with minimal human interaction. Beyond this, an even loftier goal is the pursuit of autonomy, which describes the capability of the system to independently adjust an ML solution over a lifetime of changing contexts. However, these ambitions are unlikely to be achieved in a robust manner without the broader synthesis of various mechanisms and theoretical frameworks, which, at the present time, remain scattered across numerous research threads. Accordingly, this review seeks to motivate a more expansive perspective on what constitutes an automated/autonomous ML system, alongside consideration of how best to consolidate those elements. In doing so, we survey developments in the following research areas: hyperparameter optimisation, multi-component models, neural architecture search, automated feature engineering, meta-learning, multi-level ensembling, dynamic adaptation, multi-objective evaluation, resource constraints, flexible user involvement, and the principles of generalisation. We also develop a conceptual framework throughout the review, augmented by each topic, to illustrate one possible way of fusing high-level mechanisms into an autonomous ML system. Ultimately, we conclude that the notion of architectural integration deserves more discussion, without which the field of automated ML risks stifling both its technical advantages and general uptake.

연구 동기 및 목표

• 다양한 메커니즘이 분산되어 있는 AutoML 연구의 상태를 해결하기 위해, 단일 자율적 프레임워크에 통합된 통합적 접근을 제안하기 위해.
• AutoML에서 진정으로 자율적인 AutonoML로의 발전을 위해, 아키텍처 통합이 핵심이지만 아직 탐색되지 않은 도전 과제임을 규명하기 위해.
• 초모수 최적화, 신경망 아키텍처 탐색, 자동 특징 공학, 메타학습, 동적 적응 분야의 기존 연구를 통합하여 통합 개념 모델을 제시하기 위해.
• 수명 주기 학습, 자원 제약, 그리고 민첩한 인간-AI 상호작용을 지원하는 체계적 설계의 필요성을 강조하기 위해.
• 자율적이고 진화하는 기계학습 배포가 가능한 복잡한 적응형 시스템을 구축하기 위한 논의를 촉진하기 위해.

제안 방법

• 개별 기계학습 구성 요소에서 시작하여 기계학습 파이프라인, 파이프라인 번들, 그리고 적응형 시스템으로 진화하는 개념적 프레임워크를 개발한다.
• 초모수 및 신경망 아키텍처 탐색을 위해 순차적 모델 기반 최적화(SMBO)와 베이지안 최적화를 통합한다.
• 이전 기계학습 실험에서의 지식을 전이함으로써 검색 효율성을 향상시키기 위해 메타학습을 통합한다.
• 스트리밍 데이터 환경에서의 개념 변화 탐지 및 지속적 학습 메커니즘을 통해 동적 적응을 가능하게 한다.
• 성능, 지연 시간, 계산 비용을 균형 잡기 위해 다목적 평가 및 자원 인식 운영을 지원한다.
• 데이터, 특징 공학, 모델 동작에 대한 시각화를 통해 인간-AI 협업을 촉진하며, 사용자 참여의 유연성을 보장한다.

실험 결과

연구 질문

• RQ1 초모수 최적화, 신경망 아키텍처 탐색, 자동 특징 공학 등의 이질적인 AutoML 구성 요소들이 어떻게 통합된 시스템 아키텍처로 조율될 수 있는가?
• RQ2 변화하는 데이터 및 환경 조건 하에서 기계학습 시스템이 지속적이고 자율적으로 학습할 수 있도록 하기 위해 필요한 아키텍처 원칙은 무엇인가?
• RQ3 이전 기계학습 실험에서의 메타지식을 어떻게 효과적으로 활용하여 새로운 학습 작업의 성능을 가속화하고 향상시킬 수 있는가?
• RQ4 다목적 최적화는 자율 시스템에서 모델 성능, 자원 사용량, 구현 제약 조건을 균형 잡는 데 어떤 역할을 하는가?
• RQ5 시스템의 자율성을 해치지 않으면서 인간의 전문성과 사용자 제어를 자율적 기계학습 파이프라인에 어떻게 의미 있게 통합할 수 있는가?

주요 결과

• 다양한 AutoML 구성 요소를 하나의 통합된 프레임워크로 통합하는 것은 기술적으로 가능하며, 진정된 AutonoML로 향하는 데 필수적인 단계이다.
• 아키텍처 통합은 자동 모델 선택을 넘어서 자율적이고 적응형 시스템으로의 발전을 저지하는 핵심 과제로 규명되었다.
• 실세계에서 변화하는 환경에서 지속적 학습을 가능하게 하기 위해 동적 적응 및 개념 변화 처리가 필수적이다.
• 메타학습은 이전 실험에서의 지식을 재사용함으로써 검색 효율성을 크게 향상시키며, 포괄적인 재학습의 필요성을 줄인다.
• 실세계의 하드웨어 및 지연 시간 제약 조건이 존재하는 시스템에 모델을 구현하기 위해 다목적 평가 및 자원 인식 최적화가 필수적이다.
• 특히 데이터, 특징 공학, 모델 행동에 대한 시각화를 통해 인간의 참여는 자율 시스템에서도 신뢰와 투명성을 확보하기 위해 필수적이다.