[論文レビュー] Variational Adaptive-Newton Method for Explorative Learning

Mohammad Emtiyaz Khan, Lin Wu+3 more|arXiv (Cornell University)|Nov 15, 2017

Evolutionary Algorithms and Applications参考文献 30被引用数 7

ひとこと要約

本稿では、変分推論を用いてパラメータの事後分布を近似し、適応的ヘッシアン推定を伴うミラー降下を適用することで、計算的に効率的な探索を可能にするブラックボックス最適化手法である変分適応ニュートン（VAN）法を提案する。この手法により、強化学習やアクティブラーニングなどのタスクにおいて、従来手法に比べて高いサンプル効率と安定性を実現する。

ABSTRACT

We present the Variational Adaptive Newton (VAN) method which is a black-box optimization method especially suitable for explorative-learning tasks such as active learning and reinforcement learning. Similar to Bayesian methods, VAN estimates a distribution that can be used for exploration, but requires computations that are similar to continuous optimization methods. Our theoretical contribution reveals that VAN is a second-order method that unifies existing methods in distinct fields of continuous optimization, variational inference, and evolution strategies. Our experimental results show that VAN performs well on a wide-variety of learning tasks. This work presents a general-purpose explorative-learning method that has the potential to improve learning in areas such as active learning and reinforcement learning.

研究の動機と目的

• 逐次学習タスクにおけるベイズ的探索と計算効率の統合の課題に取り組む。
• 完全なベイズ推論の高コストを伴わずに、効果的な探索を可能にする汎用的最適化手法を開発する。
• 連続最適化、変分推論、進化戦略の分野から異なる手法を、共通の2次フレームワークで統合する。
• 深層強化学習やアクティブラーニングなどの高次元問題におけるスケーラブルで適応的な探索を可能にする。
• 分布的不確実性の利点を保ちつつ、完全なベイズ手法に代わる計算的に効率的な代替手法を提供する。

提案手法

• パrameter化された分布 $ q(oldsymbol{ heta}|oldsymbol{ heta}) $ の下での目的関数の期待値を最小化することで、最適化問題を変分推論タスクに定式化する。
• 変分パラメータ $ oldsymbol{ heta} $ を最適化するためにミラー降下アルゴリズムを適用し、適応的ヘッシアン近似を介して2次最適化として扱う。
• ガウス分布 $ q(oldsymbol{ heta}|oldsymbol{ heta}) $ を用いて不確実性をモデル化し、平均 $ oldsymbol{ heta} $ と共分散 $ oldsymbol{ heta} $ を通じて探索を可能にする。
• 再パラメータライゼーショントリックとガウス・ニュートン近似を用いてヘッシアンの効率的近似を導出することで、計算コストを低減する。
• 深層学習環境におけるスケーラビリティを高めるために、対角ヘッシアン近似を用いた確率的バージョン（sVAN と sVAG）を導入する。
• 連続最適化、変分推論、進化戦略分野における既存手法と、VANとの理論的関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 計算コストが非ベイズ的手法と同等の水準を維持しつつ、効果的な探索を可能にする2次最適化手法を設計できるか？
• RQ2 変分推論を用いて、ブラックボックス設定下でベイズ的探索と適応的最適化を統合できるか？
• RQ3 深層強化学習環境におけるベースライン手法（SGD や V-SGD）と比較して、VAN の性能はどの程度か？
• RQ4 再パラメータライゼーションとガウス・ニュートンの両方のヘッシアン近似手法が、手法の安定性とサンプル効率にどのように影響を与えるか？
• RQ5 アクティブラーニングや強化学習などの学習タスクにおいて、VAN は既存の探索戦略に比べて顕著な利点を示すか？

主な発見

• VAN 法は、OpenAI Gym の Half-Cheetah ポリシー学習において、SGD や V-SGD よりも顕著に優れた性能を示し、高いサンプル効率とより安定した性能を達成した。
• より正確なヘッシアン近似を用いる sVAN-D-10 は、sVAN-D-1 の場合に比べて初期学習段階で優れたデータ効率を示しており、改善された探索ダイナミクスを示唆している。
• Half-Cheetah タスクにおいて、sVAN と sVAG は同等の性能を示しており、再パラメータライゼーションベースとガウス・ニュートンベースの両方のヘッシアン近似が、この問題に対して有効であることが示された。
• V-SGD は良いポリシーを発見できるものの、時間経過に伴い性能が不安定になることがあり、独立した平均と共分散の更新の限界を示している。
• SGD は探索が不足しているため、劣悪な性能を示しており、複雑な制御タスクにおける適応的探索の重要性を強調している。
• 対角ヘッシアン近似を用いることで、高次元設定においても有望な結果が得られたが、大規模モデルでは完全なヘッシアンの計算は依然として非現実的である。