[논문 리뷰] AutoML to Date and Beyond: Challenges and Opportunities

Shubhra Kanti Karmaker Santu, Md. Mahadi Hassan외 4명|arXiv (Cornell University)|2020. 10. 21.

Machine Learning and Data Classification참고 문헌 57인용 수 6

한 줄 요약

이 논문은 머신러닝 파이프라인의 완전한 자동화 부족을 해결하기 위해 AutoML 시스템을 위한 일곱 단계 자율성 분류 체계를 제안한다. 이는 예측 작업 정의 및 추천을 자동화하는 상호작용형 지능형 에이전트인 레벨 6 AutoML을 도입하여 데이터 과학자와 도메인 전문가의 인간 참여를 크게 줄이며, 실제 작업 추천 사례 연구를 통해 실용성을 입증한다.

ABSTRACT

As big data becomes ubiquitous across domains, and more and more stakeholders aspire to make the most of their data, demand for machine learning tools has spurred researchers to explore the possibilities of automated machine learning (AutoML). AutoML tools aim to make machine learning accessible for non-machine learning experts (domain experts), to improve the efficiency of machine learning, and to accelerate machine learning research. But although automation and efficiency are among AutoML's main selling points, the process still requires human involvement at a number of vital steps, including understanding the attributes of domain-specific data, defining prediction problems, creating a suitable training data set, and selecting a promising machine learning technique. These steps often require a prolonged back-and-forth that makes this process inefficient for domain experts and data scientists alike, and keeps so-called AutoML systems from being truly automatic. In this review article, we introduce a new classification system for AutoML systems, using a seven-tiered schematic to distinguish these systems based on their level of autonomy. We begin by describing what an end-to-end machine learning pipeline actually looks like, and which subtasks of the machine learning pipeline have been automated so far. We highlight those subtasks which are still done manually - generally by a data scientist - and explain how this limits domain experts' access to machine learning. Next, we introduce our novel level-based taxonomy for AutoML systems and define each level according to the scope of automation support provided. Finally, we lay out a roadmap for the future, pinpointing the research required to further automate the end-to-end machine learning pipeline and discussing important challenges that stand in the way of this ambitious goal.

연구 동기 및 목표

• 예측 작업 정의 및 데이터 준비 과정에서의 높은 인간 참여로 인한 현재 머신러닝 파이프라인의 비효율성과 접근성 부족 문제를 해결하기 위해.
• AutoML의 핵심 저해 요소인 예측 문제 정의 및 훈련 데이터 준비 과정의 수동적이고 비표준적인 방식을 특정하기 위해.
• 종합적인 머신러닝 파이프라인에서의 자동화 수준에 따라 AutoML 시스템을 분류하기 위한 새로운 일곱 단계 자율성 분류 체계를 제안하기 위해.
• 도메인 전문가가 직접 머신러닝을 사용할 수 있도록, 지능형 상호작용 에이전트(레벨 6)를 통해 예측 작업 정의를 자동화하기 위해.
• 진정으로 자동화된 데이터 과학을 달성하기 위한 연구 로드맵을 마련하고, 작업 추천 및 모델 평가에서 인간-AI 협업의 중요성을 강조하기 위해.

제안 방법

• 머신러닝 파이프라인에서의 자동화 범위에 따라 AutoML 시스템을 분류하기 위한 일곱 단계 자율성 프레임워크를 개발하기 위해.
• 맥락적이고 도메인 특화된 지식을 활용하여 예측 작업을 능동적으로 추천하고 정의하는 상호작용형 에이전트로 레벨 6 AutoML를 정의하기 위해.
• 자연어 이해 및 시각화를 통합하여 예측 작업을 인간이 읽을 수 있는 형식(예: 설명, 입력, 인스턴스 예시 등)으로 제시하기 위해.
• 유저의 반복적 피드백을 통해 작업의 관련성과 사용성을 향상시키는 상호작용 기반 예측 작업 추천 시스템을 설계하기 위해.
• 실제 데이터셋을 활용한 사례 연구를 통해 레벨 6 AutoML가 의미 있고 실행 가능한 예측 작업을 추천할 수 있는지 검증하기 위해.
• 편향 없는 데이터 분할, 대표성 있는 벤치마크, 훈련 레이블의 최소한의 주석 편향을 확보함으로써 강력한 모델 평가를 강조하기 위해.

실험 결과

연구 질문

• RQ1 현대 AutoML 시스템에서도 여전히 수동적인 작업이 많은 종합적인 머신러닝 파이프라인의 핵심 단계는 무엇인가?
• RQ2 사용자 정의 사양에 의존하지 않고도 AutoML 시스템이 예측 작업 정의에서 더 높은 자율성을 달성할 수 있는 방법은 무엇인가?
• RQ3 지능적이고 상호작용 가능한 작업 추천이 가능한 레벨 6 AutoML 에이전트를 구축하기 위해 극복해야 할 기술적 및 설계 과제는 무엇인가?
• RQ4 예측 작업을 어떻게 의미 있게 표현하고 평가할 수 있는가? 이는 실제 비즈니스 목표와 데이터 맥락에 부합하기 위함이다.
• RQ5 인간-AI 상호작용은 자동화된 머신러닝 워크플로우의 정확성과 사용성 향상에 어떤 역할을 하는가?

주요 결과

• 현재 AutoML 시스템은 예측 작업 정의 및 훈련 데이터 준비 과정에서 데이터 과학자의 광범위한 수동 입력이 필요하므로 진정으로 자동화된 것은 아니다.
• 머신러닝 파이프라인의 대부분—특히 작업 정의 단계—는 여전히 인간 중심의 과정이며, 이는 도메인 전문가의 접근성에 한계를 초래한다.
• 상호작용형이고 맥락 인식이 가능한 예측 작업 추천 기능을 갖춘 레벨 6 AutoML 에이전트는 실현 가능하며, 실제 사례 연구에서 잠재력을 보여준다.
• 효과적인 작업 추천은 기술적 자동화 외에도 자연어 설명 및 입력과 예측의 시각화를 포함한 직관적인 사용자 인터페이스가 필요하다.
• 공정하고 편향 없는 모델 평가는 AutoML 성공의 핵심이며, 이는 파이프라인 전반에 걸쳐 적절한 데이터 정제, 벤치마크 설정, 레이블 품질 확보에 의존한다.
• 데이터 과학의 완전한 자동화를 달성하기 위해서는 인간-컴퓨터 상호작용, 정보 검색, 데이터베이스, 소프트웨어 공학 등 다양한 분야의 융합 연구가 필요하다.