[논문 리뷰] Automated Machine Learning Service Composition

Felix Mohr, Marcel Wever외 1명|arXiv (Cornell University)|2018. 09. 03.

Service-Oriented Architecture and Web Services참고 문헌 16인용 수 3

한 줄 요약

이 논문은 실행 기반 평가를 통해 파이프라인 품질을 동적으로 평가하는 고계층적 계획 기반 알고리즘인 MLS-Plan을 제안한다. 이는 정적 품질보증(QoS) 메트릭이 아닌 실행을 통한 평가를 통해 자동화된 머신러닝(자동ML) 서비스 조합을 가능하게 한다. 서비스 기반 조합—다양한 프레임워크(WEKA 및 scikit-learn)의 알고리즘을 통합함으로써—비서비스 기반 접근 방식보다 훨씬 뛰어난 성능을 보이며, 특히 복잡한 실세계 자동ML 시나리오에서 두드러진다.

ABSTRACT

Automated service composition as the process of creating new software in an automated fashion has been studied in many different ways over the last decade. However, the impact of automated service composition has been rather small as its utility in real-world applications has not been demonstrated so far. This paper presents ool, an algorithm for automated service composition applied to the area of machine learning. Empirically, we show that ool is competitive and sometimes beats algorithms that solve the same task but not benefit of the advantages of a service model. Thereby, we present a real-world example that demonstrates the utility of automated service composition in contrast to non-service oriented solutions in the same area.

연구 동기 및 목표

• 이전 연구들이 장난감 예제에 국한되어 있었던 바, 실세계 머신러닝 응용 프로그램에서 자동화된 서비스 기반 조합의 실용적 유용성을 입증하기 위해.
• 서비스 추상화 계층을 통해 다양한 프레임워크 간 머신러닝 알고리즘의 통합을 가능하게 하여 자동화된 서비스 기반 조합의 격차를 메우기 위해.
• 분류 정확도와 솔루션 다양성 측면에서 서비스 기반 조합이 비서비스 기반 자동ML 도구보다 측정 가능한 이점을 제공하는지 평가하기 위해.
• 검색 전략과의 영향을 분리하기 위해, 다중 프레임워크 접근 기능이 있는지 없는지에 따라 MLS-Plan을 비교함으로써 서비스 지향 설계의 영향을 고립시키기 위해.
• 정적 QoS 메트릭이 이용 불가능한 실세계 자동ML 파이프라인에서 실행 기반 품질 평가가 실현 가능하고 효과적인지 검증하기 위해.

제안 방법

• MLS-Plan은 복잡한 작업을 원자적 서비스 작업으로 점진적으로 분해하는 고계층 작업 계획(HTN)으로 머신러닝 파이프라인 조합 문제를 축소한다.
• 기획자는 벤치마크 데이터에 대해 후보 파이프라인을 실행하고 분류 정확도를 측정함으로써 평가하는 블랙박스 목표 함수를 사용한다.
• WEKA와 scikit-learn의 서비스는 모두 일급 구성 요소로 노출되어 있어, 다중 프레임워크 파이프라인 조합이 가능하다.
• 검색 과정은 정적 QoS 속성이 아닌 실행된 파이프라인으로부터의 경험적 성능 피드백에 의해 유도되며, 이는 동적이고 데이터 의존적인 메트릭 최적화를 가능하게 한다.
• 기존 기획자들이 동적 품질 평가를 다루는 데에 한계를 가진 점을 보완하기 위해 반복적 개선과 성능 피드백을 지원하는 맞춤형 기획자를 구현하였다.
• 서비스 기반 조합의 이점을 고립시키기 위해 단일 라이브러리(WEKA 전용 또는 scikit-learn 전용) 및 다중 라이브러리(양쪽 모두) 구성 모두를 지원한다.

실험 결과

연구 질문

• RQ1 실세계 분류 작업에서 자동화된 서비스 기반 조합이 비서비스 기반 자동ML 도구보다 뛰어난 성능을 보일 수 있는가?
• RQ2 서비스 추상화를 통해 여러 머신러닝 프레임워크(예: WEKA 및 scikit-learn)의 알고리즘을 통합하면 파이프라인 성능이 향상되는가?
• RQ3 다중 프레임워크 접근으로 인해 증가한 검색 공간은 자동 파이프라인 조합의 성능과 수렴에 어떤 영향을 미치는가?
• RQ4 정적 QoS 기반 최적화보다 벤치마크 실행을 통한 정확도 측정을 통한 실행 기반 품질 평가가 자동ML에서 더 효과적인가?
• RQ5 서비스 지향 아키텍처는 단일 프레임워크 솔루션 대비 학습된 파이프라인의 다양성과 품질을 얼마나 향상시키는가?

주요 결과

• WEKA와 scikit-learn 서비스에 모두 액세스할 수 있는 MLS-Plan은 여러 데이터셋에서 단일 프레임워크 버전보다 뚜렷이 뛰어난 성능을 보이며, 여러 경우에서 평균 오류율이 가장 낮았다.
• 서비스 기반 접근 방식은 여러 데이터셋에서 비서비스 기반 대비 통계적으로 유의미한 향상을 달성하여, 다중 프레임워크 통합의 실질적 이점을 입증했다.
• 일부 사례에서는 더 큰 검색 공간으로 인해 탐색에 더 많은 시간이 소요되어 다중 라이브러리 버전이 성능이 떨어지는 경우가 있었으며, 이는 솔루션 다양성과 탐색 효율성 사이의 상충 관계를 시사한다.
• 전반적인 결과는 MLS-Plan이 서비스 기반인 경우가 항상 우월한 것은 아니지만, 실세계 자동ML 시나리오의 상당수에서 가장 뛰어난 성능을 보였음을 보여준다.
• 경험적 평가 결과, 정적 품질 메트릭이 이용 불가능하거나 적용 불가능한 상황에서도 실행 기반 품질 피드백이 효과적인 최적화를 가능하게 함을 확인했다.
• 본 연구는 자동화된 서비스 기반 조합이 실세계 자동ML에서 실현 가능하고 가치 있는 기법임을 입증하며, 통합된 서비스 인터페이스를 통해 이질적인 알고리즘 라이브러리를 활용할 경우 尤히 유용하다는 것을 보여준다.