[논문 리뷰] Practitioner Motives to Use Different Hyperparameter Optimization Methods

Niclas Kannengießer, Niklas Hasebrook외 6명|arXiv (Cornell University)|2022. 03. 03.

Machine Learning and Data Classification인용 수 7

한 줄 요약

이 연구는 기계학습 연구자들이 초모수 최적화(HPO) 방법을 선택할 때 기술적 효율성보다는 비기술적 동기를 고려하는 이유를 규명한다. 감소된 노력, 계산 자원 제약, 모델 이해도 향상 등의 요소가 종종 기술적 효율성보다 더 큰 영향을 미친다. 20명의 인터뷰와 71명의 참여자 설문조사를 포함한 혼합 방법 연구를 통해 HPO 방법 선택에 영향을 주는 6개의 핵심 목표와 14개의 맥락적 요인을 밝혀내었으며, 이는 자동화된 AutoML 분야에서 사회기술적 요소와 기술적 연구를 연결하는 사용자 중심의 HPO 도구 설계 기반을 제공한다.

ABSTRACT

Programmatic hyperparameter optimization (HPO) methods, such as Bayesian optimization and evolutionary algorithms, are highly sample-efficient in identifying optimal hyperparameter configurations for machine learning (ML) models. However, practitioners frequently use less efficient methods, such as grid search, which can lead to under-optimized models. We suspect this behavior is driven by a range of practitioner-specific motives. Practitioner motives, however, still need to be clarified to enhance user-centered development of HPO tools. To uncover practitioner motives to use different HPO methods, we conducted 20 semi-structured interviews and an online survey with 49 ML experts. By presenting main goals (e.g., increase ML model understanding) and contextual factors affecting practitioners' selection of HPO methods (e.g., available computer resources), this study offers a conceptual foundation to better understand why practitioners use different HPO methods, supporting development of more user-centered and context-adaptive HPO tools in automated ML.

연구 동기 및 목표

• 기계학습 연구자들이 베이지안 최적화와 같은 더 효율적인 대안이 존재하는 바에도 불구하고 그리드 서치나 수동 조정과 같은 덜 샘플 효율적인 HPO 방법을 선택하는 이유를 이해하는 것.
• 연구자들의 HPO 방법 선택에 영향을 주는 개인적 목표와 맥락적 제약을 포함한 근본적인 동기를 규명하는 것.
• 질적 인터뷰와 정량적 설문조사를 결합한 혼합 방법 연구를 통해 이러한 동기의 외부 타당성을 실증적으로 입증하는 것.
• 사회적 요소와 기술적 요소를 연결하여 사용자 중심의, 맥락에 적응하는 HPO 도구 설계를 안내하는 것.
• 미래의 연구를 위한 기초를 마련하여, HPO에서 인간의 의사결정 히ュ리스틱과 자동화된 AutoML 시스템에의 통합 가능성을 탐색하는 것.

제안 방법

• 특정 HPO 방법 선택의 동기를 탐색하기 위해 기계학습 연구자 20명과 반구조화된 인터뷰를 실시하였다.
• 71명의 기계학습 전문가를 대상으로 온라인 설문조사를 실시하여 인터뷰 결과의 타당성과 일반화를 검증하였다.
• 인터뷰 녹취록을 토대로 주제 분석을 수행하여 HPO 방법 선택에 영향을 주는 반복적인 목표와 맥락적 요인을 식별하였다.
• 설문조사 데이터를 활용해 식별된 동기의 외부 타당성을 평가하고 연구자 집단 내에서의 퍼센트를 정량화하였다.
• 베이지안 최적화, 수동 조정, 그리드 서치, 무작위 서치의 네 가지 주요 유형으로 HPO 방법을 분류하여 각각의 인지된 상호 교환 관계를 집중적으로 분석하였다.
• 예를 들어 검색 범위 설정 및 초모수 선택과 같은 연구자 행동을 의사결정 히ュ리스틱과 연결하여, HPO에서 암묵적인 인지 전략이 존재할 가능성을 제시하였다.

실험 결과

연구 질문

• RQ1 연구자들이 HPO 방법을 선택할 때 추구하는 주요 목표는 무엇인가요?
• RQ2 다양한 HPO 방법 간 선택에 영향을 주는 맥락적 요인은 무엇인가요?
• RQ3 왜 연구자들은 더 효율적인 대안이 존재하는 바에도 불구하고 그리드 서치나 수동 조정과 같은 덜 샘플 효율적인 HPO 방법을 자주 선택하는가요?
• RQ4 연구자들의 주관적 목표와 환경적 제약 조건이 어떻게 함께 작용하여 HPO 방법 선택에 영향을 미치는가요?
• RQ5 식별된 동기가 더 넓은 기계학습 연구자 집단에서 얼마나 타당한가요?

주요 결과

• 연구자들은 원자료 샘플 효율성보다도 개인적 노력 감소, 계산 비용 최소화, 모델 해석 가능성 향상 등의 목표를 우선시하는 경향이 있다.
• 제한된 계산 자원 접근성, 시간 압박, 고급 HPO 도구에 대한 익숙하지 않은 정도 등의 맥락적 요인이 방법 선택에 상당한 영향을 미친다.
• 베이지안 최적화가 샘플 효율성이 뛰어나도, 복잡성과 투명성 부족으로 인해 인식되는 난이도로 인해 실제로는 사용이 부족하며, 이로 인해 연구자들은 그리드 서치나 수동 조정을 선호한다.
• 대부분의 연구자들이 그리드 서치를 사용하는 것은 무지 때문이 아니라, 예측 가능성, 재현 가능성, 그리고 구현 용이성 덕분이다.
• 이 연구는 모델 이해도 향상, 오류 위험 감소 등의 핵심 목표 6개를 식별하였으며, 이는 일반적인 기술적 HPO 평가에서 종종 간과된다.
• 연구 결과는 현재의 HPO 도구들이 연구자들의 전반적인 요구를 충분히 반영하지 못하고 있음을 시사하며, AutoML 시스템에서 맥락 인식형, 사용자 중심의 설계가 필요하다는 점을 시사한다.