[논문 리뷰] Multi-Objective Automatic Machine Learning with AutoxgboostMC

Florian Pfisterer, Stefan Coors외 2명|arXiv (Cornell University)|2019. 08. 28.

Machine Learning and Data Classification참고 문헌 44인용 수 15

한 줄 요약

이 논문은 예측 성능, 공정성, 해석 가능성과 같은 사용자가 정의한 기준을 동시에 최적화하는 다목적 AutoML 프레임워크인 AutoxgboostMC를 제안한다. 베이지안 최적화와 서rogate 모델을 사용하여 기계학습 파ip라인을 다목적으로 최적화한다. 주요 기여는 투명하고 상호작용 가능한 시스템으로, 다양한 목표 간의 트레이드오프 솔루션을 포함하는 파레토 프론트를 생성하여 사용자가 자신의 선호도에 맞는 모델을 선택할 수 있도록 한다. 이는 공정성과 내구성 측면에서 단일 목표 기반 기준보다 뛰어나며 예측 정확도는 경쟁 수준을 유지함을 입증한다.

ABSTRACT

AutoML systems are currently rising in popularity, as they can build powerful models without human oversight. They often combine techniques from many different sub-fields of machine learning in order to find a model or set of models that optimize a user-supplied criterion, such as predictive performance. The ultimate goal of such systems is to reduce the amount of time spent on menial tasks, or tasks that can be solved better by algorithms while leaving decisions that require human intelligence to the end-user. In recent years, the importance of other criteria, such as fairness and interpretability, and many others have become more and more apparent. Current AutoML frameworks either do not allow to optimize such secondary criteria or only do so by limiting the system's choice of models and preprocessing steps. We propose to optimize additional criteria defined by the user directly to guide the search towards an optimal machine learning pipeline. In order to demonstrate the need and usefulness of our approach, we provide a simple multi-criteria AutoML system and showcase an exemplary application.

연구 동기 및 목표

• 예측 성능 이외의 기준, 예를 들어 공정성, 해석 가능성, 내구성과 같은 다수의 기준을 동시에 최적화하는 AutoML 시스템의 증가하는 필요성을 해결하기 위해.
• 사용자가 경쟁하는 목표 간의 선호되는 트레이드오프로의 검색을 안내할 수 있는 투명하고 상호작용 가능한 프레임워크를 제공하기 위해.
• 단일 목표 최적화보다 다목적 기준을 동시에 최적화함으로써 더 나은 종합적 모델 품질과 사용자 선호도 일치를 달성할 수 있음을 입증하기 위해.
• AutoML 파이프라인에서 공정성과 해석 가능성과 같은 추상적인 기준에 대한 실용적이고 측정 가능한 대체 지표를 개발하고 검증하기 위해.
• 모델이나 전처리 선택을 제한하지 않고 단일 학습기 기반 AutoML 시스템을 다기준 최적화로 확장하기 위해.

제안 방법

• 프레임워크는 하이퍼파ram터와 전처리 단계의 복잡한 계층적 검색 공간을 탐색하기 위해 랜덤 포레스트 서rogate 모델을 사용하는 베이지안 최적화를 사용한다.
• 사용자가 정의한 다수의 목표 함수—예를 들어 최소 평균 클래스 오차(mmcе), 공정성 F1(fairF1) 등—을 지원한다.
• 최적화 과정은 모든 목표 간 최적의 트레이드오프를 나타내는 비지배 솔루션의 파레토 프론트를 생성한다.
• 사용자는 예를 들어 0.1에서 0.9 사이의 목표 값 범위를 설정하여 파레토 프론트의 선호되는 영역으로 검색을 집중시킬 수 있다.
• 시스템은 점진적 튜닝을 지원한다: 사용자는 검색 예산을 예를 들어 20회에서 120회로 늘리고, 개선된 솔루션으로 수렴하는 것을 관찰할 수 있다.
• 프레임워크는 autoxgboost의 확장으로 구현되어 있으며, XGBoost를 기본 추정기로 사용하면서도 다목적 설정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모델이나 전처리 선택을 제한하지 않고도 AutoML 시스템이 사용자가 정의한 목표, 예를 들어 공정성과 해석 가능성과 같은 기준을 효과적으로 최적화할 수 있는가?
• RQ2 실제 환경에서 파레토 프론트를 통한 다목적 최적화는 단일 목표 최적화에 비해 모델 선택에 어떻게 향상되는가?
• RQ3 AutoML 환경에서 공정성과 해석 가능성과 같은 추상적인 기계학습 기준에 대한 효과적이고 측정 가능한 대체 지표는 무엇인가?
• RQ4 사용자가 목표 값의 예측 범위에 대한 상호작용 제약 조건을 통해 최적화 과정을 얼마나 효과적으로 안내할 수 있는가?
• RQ5 다목적 AutoML의 성능은 예측 정확도와 공정성 측면에서 단일 목표 기반 기준에 비해 어떻게 비교되는가?

주요 결과

• AutoxgboostMC가 생성한 파레토 프론트는 테스트 세트에서 예측 정확도(mmce ≈ 0.142)를 유지하면서도 공정성(fairF1 최대 0.096)이 크게 향상된 솔루션을 포함한다.
• 120회의 튜닝 반복 후, 시스템은 테스트 세트에서 공정성 F1 0.096를 달성했으며, 단일 목표 기반 기준(mmcе 전용)은 공정성 0.000을 기록했다.
• 시스템은 mmce ≈ 0.130과 fairF1 ≈ 0.096를 갖는 모델을 성공적으로 식별하여 정확도와 공정성 간의 실현 가능한 트레이드오프를 보여주었다.
• 파레토 프론트는 시간이 지남에 따라 진화했으며, 120회의 반복 후 최종 프론트는 더 나은 수렴과 고성능·공정한 모델의 보다 포괄적인 커버리지가 향상된 것을 보였다.
• 파레토 프론트에서 선택된 모델들은 단일 목표 기반 방법(0.000)보다 공정성 점수(최대 0.116)가 높았으며, 다기준 최적화의 가치를 입증했다.
• 상호작용 제약 메커니즘을 통해 사용자는 mmce와 fairF1를 특정 범위(0.1–0.9) 내에서 균형을 이루는 선호되는 트레이드오프로 검색을 집중시킬 수 있었다.