[論文レビュー] Non-greedy Gradient-based Hyperparameter Optimization Over Long Horizons

Paul Micaelli, Amos Storkey|arXiv (Cornell University)|May 4, 2021

Advanced Neural Network Applications参考文献 29被引用数 8

ひとこと要約

本論文は、連続するハイパーパramータを共有し、ハイパーグラデントの符号を用いて収束を検出することで、長期間にわたるタスクにおける非グリーディで勾配ベースのハイパーパramータ最適化手法を提案する。これにより、約10⁴の内部ステップに対して効果的なメタラーニングが可能となり、同じ計算リソース内でグリーディ法やランダムサーチと比較してCIFAR-10で約10%の精度向上を達成する。

ABSTRACT

Gradient-based meta-learning has earned a widespread popularity in few-shot learning, but remains broadly impractical for tasks with long horizons (many gradient steps), due to memory scaling and gradient degradation issues. A common workaround is to learn meta-parameters online, but this introduces greediness which comes with a significant performance drop. In this work, we enable non-greedy meta-learning of hyperparameters over long horizons by sharing hyperparameters that are contiguous in time, and using the sign of hypergradients rather than their magnitude to indicate convergence. We implement this with forward-mode differentiation, which we extend to the popular momentum-based SGD optimizer. We demonstrate that the hyperparameters of this optimizer can be learned non-greedily without gradient degradation over ∼104 inner gradient steps, by only requiring ∼10 outer gradient steps. On CIFAR-10, we outperform greedy and random search methods for the same computational budget by nearly 10%. Code will be available upon publication.

研究の動機と目的

• メモリスケーリングと勾配劣化のため、長期間タスクにおける勾配ベースメタラーニングの限界を解消すること。
• 長期間のシーケンスにおいてグリーディオンラインメタラーニングが引き起こす性能低下を克服すること。
• 勾配劣化を回避しながら、長期間の内部軌道における非グリーディハイパーパラメータ最適化を可能にすること。
• 長期間の適応に必要な外部最適化ステップを最小限に抑えたスケーラブルな手法を開発すること。
• 効率的な計算で長期間少数ショットラーニングにおいて最先端のパフォーマンスを実証すること。

提案手法

• 連続する時間ステップにわたりハイパーパラメータを共有することで、メモリと勾配の複雑さを低減する。
• 収束を検出するために、ハイパーグラデントの大きさではなくその符号を用いることで、非グリーディな更新を可能にする。
• 効率的なハイパーグラデント計算のため、前向きモード微分を採用し、モーメンタム付きSGDへも拡張可能である。
• ハイパーパラメータの時間的連続性を活用することで、長期間最適化の安定性を高める。
• 外部最適化は約10ステップで、約10⁴の内部勾配ステップにわたるハイパーパラメータの学習を実現する。
• ハイパーグラデント信号における大きさの減少に依存せず、符号の一貫性に注目することで勾配劣化を回避する。

実験結果

リサーチクエスチョン

• RQ1 勾配劣化を伴わずに、長期間にわたる非グリーディハイパーパラメータ最適化は可能か？
• RQ2 大きさに基づく手法と比較して、符号に基づく収束検出はパフォーマンスをどのように向上させるか？
• RQ3 ハイパーパラメータの共有は、長期間メタラーニングにおけるメモリと計算コストをどの程度低減できるか？
• RQ4 グリーディ法やランダムサーチと比較して、より少ない外部最適化ステップで優れたパフォーマンスを達成できるか？
• RQ5 CIFAR-10のような少数ショットラーニングベンチマークにおいて、このアプローチは長期間シーケンスにどの程度スケーリング可能か？

主な発見

• 本手法は、勾配劣化を伴わず、約10⁴の内部勾配ステップにわたる非グリーディハイパーパラメータ最適化を達成した。
• 長期間にわたるハイパーパラメータの学習に、わずか約10の外部勾配ステップで十分である。
• CIFAR-10では、同じ計算リソース内において、グリーディ法やランダムサーチと比較して約10%の精度向上を達成した。
• ハイパーグラデントの符号を用いた収束検出により、大きさの減衰に依存せず、安定した非グリーディラーニングが可能になった。
• 前向きモード微分をモーメンタム付きSGDへ拡張することで、効率的かつスケーラブルなハイパーグラデント計算が実現した。
• 時間ステップにわたるハイパーパラメータの共有により、長期間タスクにおけるメモリと計算のオーバーヘッドが顕著に低減された。