[논문 리뷰] A Neophyte With AutoML: Evaluating the Promises of Automatic Machine Learning Tools

Oleg Bezrukavnikov, Rhema Linder|arXiv (Cornell University)|2021. 01. 14.

Machine Learning and Data Classification참고 문헌 32인용 수 4

한 줄 요약

이 논문은 은행 데이터셋을 기반으로 기계학습 초보자 관점에서 TPOP, AutoKeras, AutoGluon의 세 가지 AutoML 도구를 평가한다. 자동화의 약속에도 불구하고, 연구는 혼란스러운 로그, 훈련 시간 추정의 열악함, 모델 내부 구조의 시각화 부족 등 심각한 사용자 경험(UX) 문제를 드러내며, 비전문가를 위한 진정으로 민주화된 AutoML를 위해 더 직관적이고 시각적인 인터페이스가 필요하다는 점을 강조한다.

ABSTRACT

This paper discusses modern Auto Machine Learning (AutoML) tools from the perspective of a person with little prior experience in Machine Learning (ML). There are many AutoML tools both ready-to-use and under development, which are created to simplify and democratize usage of ML technologies in everyday life. Our position is that ML should be easy to use and available to a greater number of people. Prior research has identified the need for intuitive AutoML tools. This work seeks to understand how well AutoML tools have achieved that goal in practice. We evaluate three AutoML Tools to evaluate the end-user experience and system performance. We evaluate the tools by having them create models from a competition dataset on banking data. We report on their performance and the details of our experience. This process provides a unique understanding of the state of the art of AutoML tools. Finally, we use these experiences to inform a discussion on how future AutoML tools can improve the user experience for neophytes of Machine Learning.

연구 동기 및 목표

• AutoML 도구가 비전문가를 위한 기계학습을 단순화한다는 약속을 얼마나 잘 이행하는지 평가하기 위해.
• 초보자 사용자가 실생활에서 AutoML 도구를 사용할 때의 사용자 경험(UX)을 평가하기 위해.
• 로그 기록, 훈련 시간 추정, 모델 훈련 과정의 시각화와 관련된 AutoML 도구의 격차를 특정하기 위해.
• 기계학습 初심자에게 더 잘 맞는 AutoML 도구를 향한 실질적인 권고 사항을 제공하기 위해.
• 시각적 인터페이스가 비개발자들을 위한 기계학습 접근성 향상과 민주화에 어떤 역할을 할 수 있는지 탐색하기 위해.

제안 방법

• 연구는 널리 사용되는 세 가지 AutoML 도구인 TPOP, AutoKeras, AutoGluon을 평가한다.
• 모델 생성 및 성능 비교의 기준으로 표준화된 은행 데이터셋을 사용한다.
• 설치 용이성, 오류 처리, 로그 명확성, 시각화 기능 등을 중점으로 하여 실습 기반의 사용자 경험 평가를 수행한다.
• 훈련 과정은 Weights & Biases 및 TensorDash와 같은 외부 도구를 사용해 다중 시험에 걸쳐 메트릭을 추적함으로써 모니터링한다.
• 로그의 과도한 량, 훈련 시간 추정의 부재, 시각화 데이터의 덮어쓰기 등의 과제를 저자들이 기록한다.
• 도구의 동작, 오류 메시지, 모델 모니터링을 위한 시각적 대시보드의 가용성에 대한 정성적 피드백을 분석에 포함한다.

실험 결과

연구 질문

• RQ1 사전 기계학습 경험 없이 사용자가 AutoML 도구를 얼마나 잘 자동화하는가?
• RQ2 실생활의 표본형 테이블 데이터셋에서 AutoML 도구의 모델 정확도와 훈련 효율성은 어떠한가?
• RQ3 초보자 사용자가 AutoML 도구를 사용할 때 로깅, 오류 메시지, 훈련 모니터링 측면에서 겪는 주요 사용성 과제는 무엇인가?
• RQ4 시각화 및 모니터링 도구(예: Weights & Biases, TensorDash)는 AutoML 훈련 중 사용자 경험을 어떻게 향상시키거나 실패시키는가?
• RQ5 시각적, 노코드 인터페이스는 비개발자들을 위한 기계학습 접근성 향상과 민주화에 어떤 역할을 할 수 있는가?

주요 결과

• AutoML 도구는 수동 하이퍼파라미터 튜닝과 모델 선택의 필요성을 크게 줄이지만, 여전히 파이썬 및 라이브러리 전용 문법에 대한 상당한 전문 지식이 필요하다.
• 혼란스럽고 과도하게 많은 로그 출력은 초보자에게 특히 문제를 진단하기 어려워 사용자 경험을 저해한다.
• 대부분의 도구는 훈련 시간에 대한 신뢰할 수 있는 추정치를 제공하지 않아 장기 실행 실험 중 불확실성과 사용자 분노를 유발할 수 있다.
• 훈련 진행 상황과 내부 모델 상태의 시각화가 제한되어 있으며, TensorDash는 시험 데이터를 덮어쓰는 반면 Weights & Biases는 다중 시험 추적에 더 나은 성능을 보인다.
• 외부 모니터링 도구인 Weights & Biases는 뛰어난 실시간 시각화 및 비교 기능을 제공하지만, 통합이 원활하지 않으며 추가 설정이 필요하다.
• Northstar 프로젝트는 유망한 미래 방향성을 보여준다: 시각적이고 상호작용 가능한 노코드 인터페이스는 비프로그래머를 위한 AutoML 접근성 향상에 큰 기여를 할 수 있다.