[논문 리뷰] DeepCAVE: An Interactive Analysis Tool for Automated Machine Learning

René Sass, Eddie Bergman외 3명|arXiv (Cornell University)|2022. 06. 07.

Machine Learning and Data Classification인용 수 4

한 줄 요약

DeepCAVE는 실시간으로 초모수 최적화, 신경망 아키텍처 탐색, 다중 정밀도/다중 목적 실행을 모니터링하고 시각화하며 해석할 수 있도록 해주는 상호작용형 실시간 분석 프레임워크이다. 이는 사용자가 AutoML 시스템의 투명성과 신뢰도를 향상시키는 데 기여한다. 동적 탐색을 위해 성능 분석, 구성 중요도, 파레토 최적 해역 시각화 등의 모듈형 플러그인을 지원하며, 주요 기여 사항으로는 실시간 모니터링, 다중 정밀도 최적화 지원, 전문가 및 비전문가 모두를 위한 사용자 友好的 해석 도구가 포함되어 있다.

ABSTRACT

Automated Machine Learning (AutoML) is used more than ever before to support users in determining efficient hyperparameters, neural architectures, or even full machine learning pipelines. However, users tend to mistrust the optimization process and its results due to a lack of transparency, making manual tuning still widespread. We introduce DeepCAVE, an interactive framework to analyze and monitor state-of-the-art optimization procedures for AutoML easily and ad hoc. By aiming for full and accessible transparency, DeepCAVE builds a bridge between users and AutoML and contributes to establishing trust. Our framework's modular and easy-to-extend nature provides users with automatically generated text, tables, and graphic visualizations. We show the value of DeepCAVE in an exemplary use-case of outlier detection, in which our framework makes it easy to identify problems, compare multiple runs and interpret optimization processes. The package is freely available on GitHub https://github.com/automl/DeepCAVE.

연구 동기 및 목표

• AutoML 시스템의 투명성과 신뢰도 부족 문제를 해결하기 위해, 이는 주로 블랙박스 성격 때문이기 때문이다.
• 실행 후 분석이 아닌, 실행 중에도 실시간으로 상호작용형 AutoML 최적화 과정을 분석할 수 있도록 하기 위해이다.
• 딥러닝 AutoML에서 흔한 다중 정밀도 및 다중 목적 최적화 워크플로우를 지원하기 위해이다.
• 모든 경험 수준의 사용자에게 접근성 있고 직관적인 시각화 및 해석 도구를 제공하기 위해이다.
• 사용자와 AutoML 간 격차를 해소하기 위해 인간을 다시 루프에 포함시키기 위해 상호작용형 모듈형 분석 플러그인을 제공하기 위해이다.

제안 방법

• DeepCAVE는 파일 시스템 기반 데이터 컨버터를 통해 어떤 AutoML 최적화기와도 통합 가능한 모듈형 확장 가능한 프레임워크로 구축된다.
• 실행 도중에 기록되는 최적화기 출력을 지속적으로 읽고 파싱함으로써 실시간 모니터링을 지원한다.
• 성능 궤적, 파레토 최적 해역, 초모수 중요도(fANOVA 및 LPI 기반), 구성 프로파일 시각화를 위한 상호작용형 플러그인이 포함되어 있다.
• 공유된 시각화 및 상호작용 필터링을 통해 여러 최적화 실행 또는 그룹 간 비교를 가능하게 한다.
• 마우스 호버나 클릭 시 자동으로 코드 스니펫과 구성 세부 정보를 생성하여 최고 성능을 낸 구성의 직접 재사용을 가능하게 한다.
• 최적화기 독립적 설계로, HPO, NAS, CASH를 포함한 다양한 AutoML 워크플로우를 지원한다.

실험 결과

연구 질문

• RQ1 사용자는 최적화가 완료되기 전에 AutoML 최적화 과정의 진행 상황과 행동을 실시간으로 어떻게 이해할 수 있는가?
• RQ2 특정 AutoML 실행에서 가장 영향력 있는 초모수와 아키텍처 선택은 무엇이며, 성능에 어떤 영향을 미치는가?
• RQ3 다중 정밀도 및 다중 목적 최적화 결과를 상호작용적으로 효과적으로 어떻게 시각화하고 비교할 수 있는가?
• RQ4 상호작용형 분석 도구는 특히 안전이 중요한 애플리케이션에서 AutoML 결정에 대한 사용자 신뢰도와 이해도를 향상시킬 수 있는가?
• RQ5 해석 플러그인은 장시간 실행되는 최적화 과정 중에 문제를 탐지하고 이상치를 식별하며, 정보 기반 결정을 내리는 데 어떻게 도움이 되는가?

주요 결과

• DeepCAVE는 AutoML 최적화 과정의 실시간 모니터링을 가능하게 하여, 사용자가 실행 중에 문제를 조기에 발견하고 정보 기반 결정보다 결정을 내릴 수 있도록 한다.
• 이 프레임워크는 다중 정밀도 및 다중 목적 최적화를 성공적으로 지원하여 효율적이고 현실적인 AutoDL 워크플로우에 필수적인 요소를 제공한다.
• fANOVA 및 LPI 플러그인을 사용한 연구에서, 이상 탐지 작업에서 학습률, 배치 크기, 모델 아키텍처가 가장 영향력 있는 초모수로 규명되었다.
• 파레토 최적 해역 시각화를 통해 정확도, 학습 시간, 비용 등의 목표 간 트레이드오���을 비교하고 구성 선택에 정보 기반 결정을 내리는 데 기여하였다.
• 클릭 가능한 점과 자동 생성된 코드 스니펫 등의 상호작용 기능은 최고 성능을 낸 구성의 사용성과 재사용성 향상에 크게 기여하였다.
• 복잡한 최적화 워크플로우를 지원하는 실시간, 상호작용형, 확장 가능한 분석 기능을 제공함으로써, DeepCAVE는 CAVE 및 XAutoML와 같은 기존 도구를 뛰어넘는 성능을 보였다.