[논문 리뷰] Automated machine learning: AI-driven decision making in business analytics

Marc Schmitt|arXiv (Cornell University)|2022. 05. 21.

Machine Learning and Data Classification인용 수 11

한 줄 요약

이 논문은 비즈니스 분석 분야에서 H2O AutoML의 성능을 평가하여, 자동 모델 선택 및 하이퍼파rameter 튜닝을 통해 비전문가가 전문가 수준의 기계학습 성능에 근접할 수 있음을 입증한다. 실세계 사례 3건에서 수동으로 튜닝된 모델이 H2O AutoML를 뛰어넘는 성능을 보였지만, H2O AutoML는 전문 지식이 거의 필요 없이 빠르고 신뢰할 수 있는 결과를 제공하여 프로토타이핑을 크게 가속화하고 배포 주기를 단축시켰다.

ABSTRACT

The realization that AI-driven decision-making is indispensable in today's fast-paced and ultra-competitive marketplace has raised interest in industrial machine learning (ML) applications significantly. The current demand for analytics experts vastly exceeds the supply. One solution to this problem is to increase the user-friendliness of ML frameworks to make them more accessible for the non-expert. Automated machine learning (AutoML) is an attempt to solve the problem of expertise by providing fully automated off-the-shelf solutions for model choice and hyperparameter tuning. This paper analyzed the potential of AutoML for applications within business analytics, which could help to increase the adoption rate of ML across all industries. The H2O AutoML framework was benchmarked against a manually tuned stacked ML model on three real-world datasets. The manually tuned ML model could reach a performance advantage in all three case studies used in the experiment. Nevertheless, the H2O AutoML package proved to be quite potent. It is fast, easy to use, and delivers reliable results, which come close to a professionally tuned ML model. The H2O AutoML framework in its current capacity is a valuable tool to support fast prototyping with the potential to shorten development and deployment cycles. It can also bridge the existing gap between supply and demand for ML experts and is a big step towards automated decisions in business analytics. Finally, AutoML has the potential to foster human empowerment in a world that is rapidly becoming more automated and digital.

연구 동기 및 목표

• 기계학습의 산업 전반에서의 보급을 향상시키는 데 자동화된 기계학습(AutoML)의 잠재력을 평가하기 위해.
• 비즈니스 분석 분야에서 기계학습 전문가 수요와 공급 간 격차를 해소하기 위해.
• 실세계 데이터셋을 대상으로 H2O AutoML를 수동으로 튜닝한 모델과 비교하여 성능 및 사용성 평가를 위해.
• 비즈니스 응용 프로그램에서 AutoML가 빠른 프로토타이핑과 개발 주기 단축에 기여하는 방식을 평가하기 위해.
• 자동화된 기계학습이 점점 더 자동화되는 비즈니스 환경에서 비전문가가 AI 기반 의사결정을 지원하는 데 어떻게 기여할 수 있는지 탐색하기 위해.

제안 방법

• 연구는 H2O AutoML 프레임워크를 활용하여 실세계 비즈니스 분석 데이터셋 3종에 대해 자동 모델 선택 및 하이퍼파rameter 튜닝을 수행하였다.
• 성능 기준으로 사용하기 위해 각 데이터셋에 대해 수동으로 튜닝된 스태킹 앙상블 모델을 개발하였다.
• 표준 회귀 평가 지표인 결정계수(R-squared) 및 평균제곱오차(Mean Squared Error)를 사용하여 모델 성능을 평가하였다.
• 비전문가가 실제 환경에서 사용할 수 있도록 AutoML 파이프라인을 기본 설정으로 구성하였다.
• AutoML와 수동 최적화 모델 간 예측 성능 및 학습 시간을 비교하기 위해 실험을 수행하였다.
• 빠른 속도, 사용 편의성, 그리고 생산용 모델 생성 능력 측면에서 프레임워크의 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 H2O AutoML는 실세계 비즈니스 분석 작업에서 수동으로 튜닝된 스태킹 앙상블 모델과 비교해도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 AutoML는 모델 개발 및 튜닝 과정에서 전문가의 간섭을 얼마나 줄일 수 있는가?
• RQ3 AutoML는 비즈니스 분석 응용 프로그램의 개발 및 배포 주기에 어떤 영향을 미치는가?
• RQ4 AutoML는 비전문가가 신뢰할 수 있는 기계학습 결과를 도출하는 데 어떻게 기여할 수 있는가?
• RQ5 비즈니스 분석 워크플로우에서 성능와 자동화 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 모든 사례 연구에서 수동으로 튜닝된 스태킹 모델이 뛰어난 성능을 보였으며, 전문가 수준의 튜닝이 가져오는 이점이 입증되었다.
• H2O AutoML는 사용자 입력과 설정 최소화로 모든 데이터셋에서 안정적이고 일관된 결과를 제공하였다.
• AutoML 프레임워크는 개발 시간을 크게 단축시켜 빠른 프로토타이핑을 가능하게 하였으며, 배포 주기를 단축시켰다.
• H2O AutoML는 빠르고 사용자 친화적이어서 전문 지식이 없는 사용자도 모델 품질을 희생시키지 않고 접근할 수 있었다.
• 수동 튜닝 모델에 비해 성능은 낮았지만, AutoML의 결과는 많은 비즈니스 응용 분야에서 실용적인 수준이었다.
• 이 연구는 AutoML가 기계학습 수요와 공급 간 격차를 메울 수 있으며, 산업 전반에서의 보편적 보급을 지원할 수 있음을 확인한다.