[논문 리뷰] Lale: Consistent Automated Machine Learning

Guillaume Baudart, Martin Hirzel외 3명|arXiv (Cornell University)|2020. 07. 04.

Machine Learning and Data Classification참고 문헌 20인용 수 6

한 줄 요약

Lale는 scikit-learn과 JSON Schema를 기반으로 한 수학적으로 탄탄한 추상화를 사용하여 파이프라인 정의, 하이퍼파라미터 탐색, 아키텍처 탐색을 통합하는 일관되고 고수준의 파이썬 라이브러리를 제공한다. 이는 자동화된 기계학습(AutoML) 도구와의 원활한 통합을 가능하게 하며, 자동으로 탐색 공간을 생성하고 고차원 연산자와 문법 기반 아키텍처 탐색을 지원하며, 측면 제약 조건을 고려한 탐색 공간 컴파일을 통해 수렴성을 향상시켜 최신 기술 수준의 도구와 경쟁 가능한 성능을 달성한다.

ABSTRACT

Automated machine learning makes it easier for data scientists to develop pipelines by searching over possible choices for hyperparameters, algorithms, and even pipeline topologies. Unfortunately, the syntax for automated machine learning tools is inconsistent with manual machine learning, with each other, and with error checks. Furthermore, few tools support advanced features such as topology search or higher-order operators. This paper introduces Lale, a library of high-level Python interfaces that simplifies and unifies automated machine learning in a consistent way.

연구 동기 및 목표

• 수동 및 자동 기계학습 도구 간의 문법과 추상화의 일관성 부족 문제를 해결하기 위해.
• 하이퍼파라미터 튜닝부터 아키텍처 탐색에 이르기까지 전체 자동화 스펙트럼을 하나의 일관된 프로그래밍 모델로 통합하기 위해.
• 자동화에 대한 세밀한 제어를 가능하게 하면서도 기존의 확립된 AutoML 도구와의 호환성을 유지하기 위해.
• 고차원 연산자(예: 중첩된 연산자를 가진 앙상블 등)와 문법 기반 파이프라인 아키텍처 탐색과 같은 고급 기능을 지원하기 위해.
• 측면 제약 조건을 탐색 공간 생성에 통합하여 수렴성과 최적화 안정성을 향상시키기 위해.

제안 방법

• Lale는 명시적인 연산자 및 하이퍼파라미터 사양을 포함하여 scikit-learn과 호환되는 고수준 파이썬 API를 사용하여 기계학습 파이프라인을 정의한다.
• 하이퍼파라미터 제약 조건, 특히 측면 제약 조건을 포함한 형식적 기술을 위해 JSON 스키마를 활용하여 기계로 검증 가능한 검증을 가능하게 한다.
• 이 라이브러리는 이러한 파이프라인 및 스키마 사양을 hyperopt 및 SMAC와 같은 기존 AutoML 도구와 호환되는 탐색 공간으로 컴파일한다.
• 내부적으로 연산자와 그 하이퍼파라미터에 대해 재귀적으로 탐색 공간을 생성함으로써 고차원 연산자(예: 앙상블)를 지원한다.
• 문맥 자유 문법을 사용한 파이프라인 아키텍처 탐색을 위한 문법 기반 문법을 도입하여 파이프라인 정의 언어를 자연스럽게 확장한다.
• 풍부한 스키마와 측면 제약 조건을 포함한 탐색 공간 컴파일러는 의미적으로 동등하고 유효한 탐색 공간으로 변환하여 최적화의 안정성과 수렴성을 향상시킨다.

실험 결과

연구 질문

• RQ1 하이퍼파라미터 튜닝부터 전체 아키텍처 탐색에 이르기까지 자동 기계학습 전반에 걸쳐 일관되고 고수준의 프로그래밍 모델을 수립할 수 있는가?
• RQ2 형식적인 파이프라인 및 하이퍼파라미터 사양에서 자동으로 AutoML 도구용 탐색 공간을 생성할 수 있으며, 이 과정에서 정확성과 표현력을 유지할 수 있는가?
• RQ3 하이퍼파라미터 스키마에 포함된 측면 제약 조건이 자동 탐색 중 수렴성 향상과 유효하지 않은 설정 감소에 얼마나 기여하는가?
• RQ4 파이프라인 정의 언어에 문법 기반 아키텍처 탐색을 자연스럽게 통합할 수 있는가, 이로 인해 일관성이나 사용성에 손상이 가지 않는가?
• RQ5 고차원 연산자(예: 구성 가능한 하위 파이프라인을 가진 앙상블 등)의 통합은 탐색 공간 복잡도와 성능에 어떤 영향을 미치는가?

주요 결과

• Lale의 탐색 공간 컴파일러는 측면 제약 조건을 고려한 탐색 공간 생성을 통해 유효하지 않은 설정을 제거함으로써 특히 다수의 연산자를 포함한 복잡한 파이프라인에서 수렴성을 크게 향상시킨다.
• Car 데이터셋에서 제약 조건이 적용된 탐색 공간은 hyperopt가 J48 분류기의 성공적인 탐색과 최적화를 가능하게 했으며, 제약 조건이 없는 경우 과도한 유효하지 않은 실행으로 인해 수렴하지 못했던 것을 확인했다.
• 제약 조건이 적용된 탐색 공간은 유효하지 않은 하이퍼파라미터 설정의 수를 줄여 더 빠른 수렴과 향상된 성능을 이끌어냈으며, 특히 다수의 추정기(estimator)를 포함한 파이프라인에서 두드러졌다.
• Lale의 자동 탐색 공간 생성은 최신 기술 수준의 AutoML 도구와 경쟁 가능한 성능을 달성하면서도 더 높은 유연성과 일관성을 제공한다.
• 문법 기반 아키텍처 탐색과 고차원 연산자의 통합은 기존 AutoML 도구의 변경 없이도 더 표현력 있고 정확한 파이프라인 탐색을 가능하게 했다.
• 다양한 데이터셋(예: Australian, Breast Cancer, CIFAR-10)에서의 실험을 통해 Lale의 접근 방식이 기존 AutoML 워크플로우와 호환되면서도 신뢰성과 사용성 향상을 유지함을 확인했다.