[논문 리뷰] A Very Brief and Critical Discussion on AutoML

Bin Liu|arXiv (Cornell University)|2018. 11. 09.

Machine Learning and Data Classification참고 문헌 7인용 수 8

한 줄 요약

이 논문은 자동 기계 학습(AutoML)을 비판적으로 분석하며, 외부 루프 알고리즘 설정에 전문가 참여가 여전히 필요한 '窄 AutoML'(narrow AutoML)과 인간의 입력 없이 완전 자동화를 목표로 하는 '일반화된 AutoML'(generalized AutoML)으로 분류한다. 주요 기여는 현재 대부분의 AutoML 기술 발전이 전문가 의존성을 줄이지만 완전히 제거하지 못하는 Narrow AutoML에 국한되어 있으며, 이는 계산 비용을 증가시키고, 반면 일반화된 AutoML는 인공통합지능(AGI)의 해결되지 않은 과제와 밀접하게 연결되어 있음을 주장하는 것이다.

ABSTRACT

This contribution presents a very brief and critical discussion on automated machine learning (AutoML), which is categorized here into two classes, referred to as narrow AutoML and generalized AutoML, respectively. The conclusions yielded from this discussion can be summarized as follows: (1) most existent research on AutoML belongs to the class of narrow AutoML; (2) advances in narrow AutoML are mainly motivated by commercial needs, while any possible benefit obtained is definitely at a cost of increase in computing burdens; (3)the concept of generalized AutoML has a strong tie in spirit with artificial general intelligence (AGI), also called "strong AI", for which obstacles abound for obtaining pivotal progresses.

연구 동기 및 목표

• 자동 기계 학습의 맥락에서 Narrow AutoML와 Generalized AutoML 간의 개념적 차이를 명확히 하는 것.
• 현재 대부분의 AutoML 연구가 외부 루프 알고리즘 설정에 전문가 지식이 필수적인 Narrow AutoML에 속해 있다는 것을 주장하는 것.
• Narrow AutoML 시스템에서 전문가 참여 감소와 계산 부담 증가 사이의 트레이드오프를 부각하는 것.
• Generalized AutoML를 인공통합지능(AGI)과 본질적으로 연결된 개념으로 위치지키며, 심각한 해결되지 않은 과제에 직면해 있음을 강조하는 것.
• 장기적으로 AutoML 연구의 실현 가능성과 목표, 특히 완전 자동화와 AGI에 관해 비판적 성찰을 유도하는 것.

제안 방법

• AutoML를 두 가지 유형으로 분류: Narrow AutoML(중간 수준 자동화, 잔여 전문가 입력 있음)과 Generalized AutoML(완전 자동화, 전문가 없음).
• Bayesian optimization(BO)를 Narrow AutoML의 대표적 기법으로 분석하여, BO 자체가 초모수 및 커널 유형 설정에 전문가 설정이 필요함을 보여줌.
• 유전적 프로그래밍, 강화 학습, 전이 학습 등의 기법을 검토하여, 모두 전문가가 정의한 탐색 공간 또는 사전 정보가 필요함을 입증함.
• 메타학습과 조합적 커널 탐색의 사례를 통해, 심화된 자동화 기법조차도 인간이 정의한 구성 공간에 의존함을 보여줌.
• BO 기반 AutoML의 계산 비용을 전문가 기반 모델 선택과 비교하여, 자동화가 계산 부담을 증가시킴을 보임.
• Generalized AutoML와 인공통합지능(AGI) 사이에 개념적 유사성을 도출하며, 공통된 기초 과제를 강조함.

실험 결과

연구 질문

• RQ1 전문가 참여와 자동화 완전성 측면에서 Narrow AutoML와 Generalized AutoML는 무엇으로 구분되는가?
• RQ2 자동화를 주장함에도 불구하고, 현재의 AutoML 기법이 인간 전문성 요구를 실제로 얼마나 줄였는가?
• RQ3 AutoML에서 전문가 결정을 자동화된 외부 루프 알고리즘으로 대체할 경우 발생하는 계산적 트레이드오프는 무엇인가?
• RQ4 왜 Generalized AutoML는 인공통합지능(AGI)의 자연스러운 연장선으로 간주되며, 어떤 과제에 직면해 있는가?
• RQ5 Auto-WEKA, auto-sklearn, TPOT와 같은 기존 AutoML 프레임워크는 Narrow AutoML의 한계를 어떻게 예시로 보여주는가?

주요 결과

• 현재 대부분의 AutoML 연구는 외부 루프 알고리즘 설정에 전문가 입력이 여전히 필요한 Narrow AutoML에 속해 있다.
• AutoML에서 Bayesian optimization(BO)를 사용할 경우, 전문가 기반 모델 선택에 비해 상당한 계산 오버헤드가 발생하지만, 인간 노동은 감소한다.
• 메타학습과 조합적 커널 탐색과 같은 고급 기법조차도 인간이 정의한 탐색 공간과 사전 정보가 필요하므로 여전히 전문가 의존성이 지속됨을 보여준다.
• AutoML 파이프라인의 최외곽 알고리즘 설정은 반드시 인간 전문가에 의해 수행되며, 이는 완전 자동화가 아직 이뤄지지 않았음을 증명한다.
• 전문가 입력 없이 완전 자동화된 기계 학습을 목표로 하는 Generalized AutoML는 개념적으로 인공통합지능(AGI)과 밀접하게 연결되어 있지만, 발전을 위한 극복하기 어려운 장애물에 직면해 있다.
• AutoML에서 전문가 참여 감소로 얻는 이점은 BO와 같은 탐색 집약적 기법에서 특히 두드러지는 증가한 계산 비용으로 상쇄된다.