[論文レビュー] Minimum Regret Search for Single- and Multi-Task Optimization

Jan Hendrik Metzen|arXiv (Cornell University)|Feb 2, 2016

Advanced Bandit Algorithms Research参考文献 22被引用数 9

ひとこと要約

この論文は、最終的な推薦の品質を最適化することを目的とした、最小の後悔を追求する探索（MRS）という、新たなベイズ最適化の獲得関数を提案する。MRSは、真の最適解と推奨される解との差である単純後悔の期待値を明示的に最小化することで、最終的な推薦の質の低いリスクを低減する。MRSは、特に高次元のマルチタスクロボット制御タスクにおいて、エントロピー探索（ES）や他の手法よりも高い後悔の外れ値を低減するが、中央値の性能は維持されている。

ABSTRACT

We propose minimum regret search (MRS), a novel acquisition function for Bayesian optimization. MRS bears similarities with information-theoretic approaches such as entropy search (ES). However, while ES aims in each query at maximizing the information gain with respect to the global maximum, MRS aims at minimizing the expected simple regret of its ultimate recommendation for the optimum. While empirically ES and MRS perform similar in most of the cases, MRS produces fewer outliers with high simple regret than ES. We provide empirical results both for a synthetic single-task optimization problem as well as for a simulated multi-task robotic control problem.

研究の動機と目的

• 既存のベイズ最適化手法が情報利得を重視する一方で、最終的推薦の後悔を最小化するという点で限界があることに対処する。
• 期待単純後悔を直接低減することを目的とした獲得関数の開発により、外れ値の性能が重要な実世界の応用分野における信頼性を向上させる。
• 特に文脈的パラメータを有するロボット制御設定において、マルチタスク最適化への後悔最小化の原則の拡張を行う。
• 合成および実世界のロボット制御タスクにおいて、エントロピー探索や期待改善といった最先端手法とMRSを実験的に比較検証する。
• MRSが情報理論的アプローチ（例：エントロピー探索）に比べて、高い単純後悔の結果が発生する頻度を低減することを示す。

提案手法

• MRSは、目的関数の事後分布上での単純後悔の期待値として獲得関数を定式化し、期待値の推定にモンテカルロサンプリングを用いる。これは、真の最適解と推奨される点との差の期待値を求める。
• 目的関数とその不確実性を表現するため、非等方的マテrnカーネルを用いたガウス過程（GPs）に基づく確率的モデルを採用する。
• 効率的な期待後悔の計算のため、$ n_f = 1000 $ 個の関数サンプル、$ n_r = 25 $ 個の後悔サンプル、$ n_y = 51 $ 個の観測値を用いたサンプリングベースの近似を実施する。
• マルチタスク最適化では、文脈変数 $ \mathbf{s} $ に条件づけた文脈依存探索へと拡張され、パラメータ $ \mathbf{\theta} $ と文脈の両方を同時に最適化可能となる。
• 獲得関数の最適化には、2段階の手続きを採用する：まずDIRECT法によるグローバル最適化を行い、その後L-BFGSによるローカル最適化を実施する。
• MRSは、合成およびロボット制御実験において、UCB、PI、EI、エントロピー探索（ES）、およびランダム／グリーディベースラインと比較されている。

実験結果

リサーチクエスチョン

• RQ1 期待単純後悔を明示的に最小化する獲得関数は、情報理論的アプローチ（例：エントロピー探索）に比べ、中央値性能と外れ値性能の両面で優れているか？
• RQ2 MRSは、複数の制御可能関節を有するロボット制御のような高次元マルチタスク最適化環境で、どのように性能を発揮するか？
• RQ3 MRSは、特に複雑またはノイズの多い探索空間において、エントロピー探索に比べて高い後悔の結果が発生する頻度を低減するか？
• RQ4 MRSは、UCB や期待改善といった従来の獲得関数と比較して、収束速度および最終的な解の質の点で優れているか？
• RQ5 MRSは、文脈的パララメータを有するマルチタスクベイズ最適化に効果的に拡張可能であり、異なる文脈にわたって一般化性能を示すか？

主な発見

• MRSは合成的な単一タスク問題において、中央値の単純後悔の点でエントロピー探索（ES）と同等の性能を達成するが、高い後悔の外れ値が著しく少ない。
• マルチタスクロボット制御タスクでは、4つの関節を制御する状況でMRSがESを上回り（200エピソード後、p < 0.01）、高次元空間におけるより高いロバストネスを示している。
• 1つまたは2つの制御可能関節がある状況では、MRSとESの性能は類似しているが、MRSは極端な後悔値を低減する点で一貫した優位性を示している。
• グリーディおよびランダムベースラインは性能が著しく低く、ロボット制御のような複雑なタスクでは、GPベースのモデリングだけでは高速かつ信頼性のある学習が不十分であることが示された。
• MRSはロボット制御タスクにおいて16のテスト文脈にわたって強く一般化しており、200エピソードにわたって平均性能が着実に向上している。
• 結果から、MRSは特に多くの低確率だが高影響を持つ領域を探索しない傾向があるエントロピー探索と比較して、高後悔領域を無視しにくいことが示唆されている。