[論文レビュー] Practitioner Motives to Use Different Hyperparameter Optimization Methods

Niclas Kannengießer, Niklas Hasebrook+6 more|arXiv (Cornell University)|Mar 3, 2022

Machine Learning and Data Classification被引用数 7

ひとこと要約

本研究は、機械学習研究者がハイパーパramータ最適化（HPO）手法を選択する際の非技術的動機を特定し、作業負荷の低減、計算リソースの制限、モデル理解の向上といった要因が、技術的効率性を上回ることが多いことを明らかにした。20名のインタビューと71名の参加者によるアンケートを実施した混合研究手法により、HPO手法選択に影響を与える6つのコアな目的と14の文脈的要因を同定した。本研究は、社会的・技術的側面を統合する自動化されたAutoML分野における、ユーザー中心のHPOツール設計の基盤を提供する。

ABSTRACT

Programmatic hyperparameter optimization (HPO) methods, such as Bayesian optimization and evolutionary algorithms, are highly sample-efficient in identifying optimal hyperparameter configurations for machine learning (ML) models. However, practitioners frequently use less efficient methods, such as grid search, which can lead to under-optimized models. We suspect this behavior is driven by a range of practitioner-specific motives. Practitioner motives, however, still need to be clarified to enhance user-centered development of HPO tools. To uncover practitioner motives to use different HPO methods, we conducted 20 semi-structured interviews and an online survey with 49 ML experts. By presenting main goals (e.g., increase ML model understanding) and contextual factors affecting practitioners' selection of HPO methods (e.g., available computer resources), this study offers a conceptual foundation to better understand why practitioners use different HPO methods, supporting development of more user-centered and context-adaptive HPO tools in automated ML.

研究の動機と目的

• より効率的な代替手法（例：ベイズ最適化）が利用可能であるにもかかわらず、ML研究者がグリッドサーチや手動チューニングといったサンプル効率が低いHPO手法を選択する理由を理解すること。
• 研究者がHPO手法を選択する際に影響を与える、個人の目的と文脈的制約を含む背後にある動機を特定すること。
• インタビューと定量的アンケートを組み合わせた混合研究手法により、これらの動機の外部妥当性を実証的に裏付けること。
• 社会的側面と技術的側面を結びつけることで、文脈に適応するユーザー中心のHPOツールの設計を支援すること。
• 将来的な研究におけるHPO分野における人間の意思決定のヒューリスティクスと、自動化されたAutoMLシステムへの統合の基盤を築くこと。

提案手法

• ML研究者20名に対して、特定のHPO手法選択の動機を調査するための半構造化インタビューを実施した。
• 71名のML専門家を対象にオンラインアンケートを実施し、インタビューの結果を検証・一般化した。
• インタビュートランスクリプトをテーマ分析することで、HPO手法選択に影響を与える繰り返し現れる目的と文脈的要因を同定した。
• アンケートデータを用いて、同定された動機の外部妥当性を評価し、研究者間での出現頻度を定量化した。
• HPO手法を4つの主要タイプに分類した：ベイズ最適化、手動チューニング、グリッドサーチ、ランダムサーチ。各手法の認識されたトレードオフに焦点を当てた。
• 検索範囲の定義やハイパーパramータの選択といった研究者の行動を、意思決定のヒューリスティクスにマッピングし、HPOにおける暗黙の認知戦略の可能性を示唆した。

実験結果

リサーチクエスチョン

• RQ1 研究者がHPO手法を選択する際、主にどのような目的を追求しているか？
• RQ2 HPO手法の選択において、どのような文脈的要因が研究者の意思決定に影響を与えているか？
• RQ3 より効率的な代替手法が存在するにもかかわらず、なぜ研究者はしばしばサンプル効率が低いHPO手法（例：グリッドサーチや手動チューニング）を選ぶのか？
• RQ4 研究者の主観的な目的と環境的制約が、どのようにHPO手法選択に相互作用しているか？
• RQ5 同定された動機が、ML研究者の広範な集団においてどの程度妥当であるか？

主な発見

• 研究者は、サンプル効率性よりも、個人の作業負荷の低減、計算コストの最小化、モデルの解釈性の向上といった目的を優先することが多い。
• 計算リソースへのアクセス制限、時間的プレッシャー、高度なHPOツールへの不慣れといった文脈的要因が、手法選択に顕著に影響を与えている。
• ベイズ最適化はサンプル効率が優れているものの、認識される複雑さと透明性の欠如により、実際にはあまり使われておらず、研究者たちは代わりにグリッドサーチや手動チューニングを好む傾向にある。
• 大多数の研究者がグリッドサーチを使用するのは無知のためではなく、予測可能性、再現性、実装の容易さが得られるからである。
• 本研究では、モデル理解や誤差リスクの低減といった6つのコアな目的が同定され、これらは技術的HPO評価でしばしば見過ごされている。
• 研究結果は、現在のHPOツールが研究者のニーズの全範囲を考慮していないことを示唆しており、AutoMLシステムにおける文脈に適応するユーザー中心の設計の必要性を示している。