[論文レビュー] Hyperparameter Optimization Is Deceiving Us, and How to Stop It

A. Feder Cooper, Yucheng Lu+2 more|arXiv (Cornell University)|Feb 5, 2021

Machine Learning and Data Classification参考文献 64被引用数 5

ひとこと要約

この論文は、形式的論理（モーダル論理）を用いてハイパラメータチューニングにおける不確実性を厳密に推論し、誤った結論を防ぐための、エピステミックハイパラメータ最適化（EHPO）という形式的フレームワークを導入する。また、計算量が限られた条件下で一貫性を保証する、変種を加えたランダムサーチの正当化を示し、アルゴリズム間の性能比較が恣意的なハイパラメータの選択によって誤解を招かないようにする。

ABSTRACT

Recent empirical work shows that inconsistent results based on choice of hyperparameter optimization (HPO) configuration are a widespread problem in ML research. When comparing two algorithms J and K searching one subspace can yield the conclusion that J outperforms K, whereas searching another can entail the opposite. In short, the way we choose hyperparameters can deceive us. We provide a theoretical complement to this prior work, arguing that, to avoid such deception, the process of drawing conclusions from HPO should be made more rigorous. We call this process epistemic hyperparameter optimization (EHPO), and put forth a logical framework to capture its semantics and how it can lead to inconsistent conclusions about performance. Our framework enables us to prove EHPO methods that are guaranteed to be defended against deception, given bounded compute time budget t. We demonstrate our framework's utility by proving and empirically validating a defended variant of random search.

研究の動機と目的

• ハイパラメータ最適化（HPO）が、アルゴリズムの性能に関する一貫性のない、誤った結論を導くという広範な問題に対処すること。
• HPOから結論を導くプロセスを、不確実性下での推論問題として扱うエピステミックハイパラメータ最適化（EHPO）として形式化すること。
• 時間予算が限られた範囲内で一貫性のある結論を保証する理論的根拠に基づいた方法を開発し、HPOにおけるだましのリスクに耐性を持つこと。
• 不確実性とHPO結果におけるだましの可能性をモデル化するための論理的フレームワークを、モーダル論理を用いて構築すること。
• ハイパラメータの上位設定（ハイパハイパーパrameter）の選択を明示的かつ正当化可能なものとすることで、より厳密で説得力のあるHPO実践を提唱すること。

提案手法

• HPOをエピステミックハイパラメータ最適化（EHPO）として形式化し、HPOから結論を導くプロセスを不確実性下での推論タスクとしてモデル化すること。
• モーダル論理を用いてHPO結果における不確実性を捉え、異なるHPO設定が矛盾する結論を導く可能性を表現すること。
• HPO結果が恣意的なハイパハイパーパrameterの選択によってだましのリスクにさらされる条件を特定する論理的フレームワークを定義すること。
• 時間予算 t が限られた条件下で、性能比較の一貫性を保証する、変種を加えたランダムサーチの提案。
• 二段階プロトコルの導入：まず、有望なハイパハイパーパrameterを特定するための粗いグリッドサーチを実施し、次に、選択された部分空間で細かく防御されたEHPOを実行すること。
• 実験的に、標準的なHPO設定と比較しても、防御的EHPO手法がだましの結論を避けることを確認した。

実験結果

リサーチクエスチョン

• RQ1 ハイパラメータチューニングにおけるだましのリスクを形式的にモデル化できるか。具体的には、異なるHPO設定がアルゴリズム性能に関する矛盾した結論を導く可能性があるか。
• RQ2 固定された時間予算のもとで、このようなだましに対して強く耐性を持つHPO手法をどのように設計できるか。
• RQ3 不確実性とHPOに基づく性能比較における一貫性について、厳密に推論できる論理的フレームワークは何か。
• RQ4 事前に真の性能についての知識が得られない状況でも、防御的ランダムサーチ戦略がどれほどだましの結論を防げるか。
• RQ5 研究者がHPOの選択をより説得力があり、恣意的なハイパハイパーパrameter選択によるバイアスの影響を受けにくくできるか。

主な発見

• 論文は、ハイパラメータのだまし（異なるHPO設定がアルゴリズム性能について逆の結論を導く）が、ML研究において実在の形式的リスクであることを証明した。
• 時間予算 t が限られた条件下で、変種を加えたランダムサーチがだましに対して耐性を持つことが形式的に証明され、一貫性のある結論が保証された。
• モーダル論理に基づく論理的フレームワークは、HPOにおける不確実性を的確に捉え、結論がだましのリスクにさらされる条件を特定した。
• 実験的検証により、防御的EHPO手法が、標準的なHPO設定が矛盾した結果を導く状況でも、だましの結果を避けることが確認された。
• 粗いグリッドサーチと選択されたハイパハイパーパrameterにおける防御的EHPOを組み合わせた二段階プロトコルは、HPO選択の説得力と耐性を向上させた。