[論文レビュー] A Practical Bandit Method with Advantages in Neural Network Tuning.

Tianyu Wang, Dawei Geng+1 more|arXiv (Cornell University)|Jan 26, 2019

Advanced Bandit Algorithms Research参考文献 23被引用数 4

ひとこと要約

本論文では、ハイパーパramータ、モデルコンテキスト（例：アーキテクチャやデータセット）、およびトレーニングリソース（例：イテレーション数）の共同空間を適応的に分割することで、ニューラルネットワークのハイパーパramータチューニングを改善する実用的な確率的バンディット手法を提案する。動的に有望な領域に焦点を当て、リソース割り当てを統合することで、従来の手法と比較してトレーニングリソースの使用量を50%以上削減しながら、ベンチマークデータセット上で最先端の精度を達成する。

ABSTRACT

Stochastic bandit algorithms can be used for challenging non-convex optimization problems. Hyperparameter tuning of neural networks is particularly challenging, necessitating new approaches. To this end, we present a method that adaptively partitions the combined space of hyperparameters, context, and training resources (e.g., total number of training iterations). By adaptively partitioning the space, the algorithm is able to focus on the portions of the hyperparameter search space that are most relevant in a practical way. By including the resources in the combined space, the method tends to use fewer training resources overall. Our experiments show that this method can surpass state-of-the-art methods in tuning neural networks on benchmark datasets. In some cases, our implementations can achieve the same levels of accuracy on benchmark datasets as existing state-of-the-art approaches while saving over 50% of our computational resources (e.g. time, training iterations).

研究の動機と目的

• 従来の手法が非凸なハイパーパラメータチューニングにおいて非効率的で、柔軟性に欠けることに対応する。
• 統合された最適化空間においてトレーニングリソースの割り当てを考慮しない既存のバンディットアルゴリズムの限界を克服する。
• ハイパーパラメータとリソース空間の統合された領域において、最も有望な領域に探索を適応的に集中させる手法を開発する。
• トレーニングイテレーション数や時間で測定される総合的な計算コストを、ベンチマークデータセット上のモデル性能を損なわずに低減する。

提案手法

• 本手法は、ハイパーパラメータ、モデルコンテキスト（例：アーキテクチャやデータセット）、およびトレーニングリソース（例：トレーニングイテレーション数）を1つの探索空間に統合してモデル化する。
• 観測されたパフォーマンスに基づいて、共同空間を領域に適応的に分割することで、パフォーマンスの高い領域に焦点を当てる。
• アルゴリズムは、分割された空間全体にわたり、探索と活用のバランスを取るための確率的バンディットフレームワークを採用する。
• リソース割り当てが最適化プロセスに統合されており、生産性の低い領域では短いトレーニング実行を、高い可能性を示す領域では長いトレーニング実行を優先できる。
• 各設定からのパフォーマンスフィードバックを用いて、繰り返し分割と割り当て意思決定を更新する。
• 観測された分散と収束傾向に基づいて、分割の細かさを動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングリソースを探索空間に統合した統合バンディットフレームワークは、精度と効率の両面で最先端のハイパーパラメータチューニング手法を上回ることができるか？
• RQ2 ハイパーパラメータとリソース空間の適応的分割は、モデルパフォーマンスを劣化させることなく、必要なトレーニングイテレーション数をどの程度削減できるか？
• RQ3 探索空間にコンテキスト（例：データセットやモデルタイプ）を組み込むことで、チューニングプロセスの収束性と頑健性にどのような影響を与えるか？
• RQ4 どのような状況で、本手法は計算リソースを50%以上削減しながら、モデル精度を維持または向上させるか？

主な発見

• 提案手法は、ベンチマークニューラルネットワークデータセットにおいて最先端のテスト精度を達成し、既存手法と同等またはそれを上回る性能を示した。
• 複数のベンチマークデータセットにおいて、本手法はベースライン手法と比較して必要なトレーニングイテレーション数を50%以上削減しながら、同等の精度を維持した。
• トレーニングリソースを探索空間に統合することで、非効率な長時間トレーニングを回避するより効率的なリソース割り当てが可能になった。
• 適応的分割により、アルゴリズムはハイパーパラメータ空間の高性能領域に計算リソースを集中させることができ、収束速度が向上した。
• 異なるニューラルネットワークアーキテクチャやデータセットにおいても、本手法は頑健であることが示され、広範な適用可能性を示した。
• 本手法はハイパーパラメータチューニングの総合的な計算コストを顕著に低減し、実世界のディープラーニングワークフローにおいて実用的である。