[論文レビュー] High Dimensional Bayesian Optimization via Supervised Dimension Reduction

Miao Zhang, Huiqi Li+1 more|arXiv (Cornell University)|Jul 21, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 3被引用数 6

ひとこと要約

本稿では、高次元の目的関数の内在的な低次元構造を自動で学習するため、スライス逆回帰（Sliced Inverse Regression, SIR）を用いた教師あり次元削減を組み込んだ、SIR-BOおよびKISIR-BOという新しいベイズ最適化手法を提案する。非線形モデル化を可能にするカーネルトリックを統合することで計算コストを低減し、加法的または線形埋め込みの制限付き仮定に依存せず、線形および非線形関数において優れた性能を発揮する。合成的および実世界のタスク（ハイパーパramータチューニングやロボット制御含む）において、最先端のベースラインを上回る性能を示した。

ABSTRACT

Bayesian optimization (BO) has been broadly applied to computational expensive problems, but it is still challenging to extend BO to high dimensions. Existing works are usually under strict assumption of an additive or a linear embedding structure for objective functions. This paper directly introduces a supervised dimension reduction method, Sliced Inverse Regression (SIR), to high dimensional Bayesian optimization, which could effectively learn the intrinsic sub-structure of objective function during the optimization. Furthermore, a kernel trick is developed to reduce computational complexity and learn nonlinear subset of the unknowing function when applying SIR to extremely high dimensional BO. We present several computational benefits and derive theoretical regret bounds of our algorithm. Extensive experiments on synthetic examples and two real applications demonstrate the superiority of our algorithms for high dimensional Bayesian optimization.

研究の動機と目的

• 次元の呪いにより標準的手法が性能を発揮できなくなる高次元ベイズ最適化の課題に対処すること。
• 加法的または線形埋め込み構造といった強い仮定に依存する既存手法の限界を克服すること。
• 最適化の過程で目的関数の内在的な低次元部分空間を自動で学習する手法を開発すること。
• 効率的な特異値分解（SVD）とカーネル化技術を用いて、高次元設定における計算複雑性を低減すること。
• 理論的レジーットバウンドを提示し、合成的および実世界の応用において性能を検証すること。

提案手法

• 目的関数の内在構造を捉えるために、高次元入力を低次元潜在空間に射影する教師あり次元削減手法としてスライス逆回帰（SIR）を導入する。
• 特にN ≪ Dである高次元設定において計算コストを低減するため、SIRに縮小されたSVDを適用する。
• 非線形多様体学習を可能にするために、SIRを拡張するカーネルトリックを開発する。
• 学習された低次元射影を代理モデルとしてガウス過程（Gaussian Process）を用いることで、ベイズ最適化を実現する。
• 低次元空間で次のクエリポイントを特定するため、ガウス過程代理モデルの更新と次回の点選択を交互に繰り返す逐次的獲得関数最適化戦略を採用する。
• 提案手法の理論的レジーットバウンドを導出する。その結果、やや弱い仮定のもとで収束性が向上することが示された。

実験結果

リサーチクエスチョン

• RQ1 SIRによる教師あり次元削減は、ベイズ最適化における高次元目的関数の内在的低次元構造を効果的に特定できるか？
• RQ2 真の関数構造が事前仮定（例：加法的または線形）と一致しない場合、提案手法は最先端のHDBO手法と比較してどの程度優れた性能を示すか？
• RQ3 カーネル化されたSIR拡張は、非線形かつ高次元の関数においてどの程度性能を向上させるか？
• RQ4 特にd ≠ deの場合に、誤った有効次元dの仮定に対して、この手法はどの程度頑健か？
• RQ5 D = 20,000のような極めて高次元の空間において、低レジーットと計算コストを維持したまま最適化を効率的に行えるか？

主な発見

• SIR-BOおよびKISIR-BOは、合成的および実世界のタスクにおいて、標準的BOおよびすべてのベースラインHDBO手法（例：REMBO、ADD-BO、Dropout）を上回る性能を発揮した。特に、加法的または線形埋め込み仮定に従わない場合に顕著な優位性を示した。
• 非線形Trimodel関数では、KISIR-BOが最良の性能を達成した一方で、REMBOやADD-BOは著しく性能を低下させた。これは、事前仮定なしに内在構造を学習する利点を示している。
• 真の内在次元deと異なる仮定次元dを用いても、本手法は最小限の性能低下に抑えられ、REMBOとは異なりd ≠ deの場合に著しく性能が低下しないという頑健性を示した。
• D=2000、d=10のボストン住宅データセットにおいて、KISIR-BOはすべてのベースラインを上回る収束速度と低いレジーットを達成した。これは極めて高次元へのスケーラビリティを裏付けた。
• 3リンクウォーカーのロボット制御タスクでは、SIR-BOが本質的なパラメータを捉える低次元部分空間（d=15）を効果的に同定し、全空間BOや他のベースラインを上回った。
• 実験から、ハイパーパramータチューニングは、相関のあるパラメータの部分空間で効果的に実行可能であることが示され、Hutterらの仮説（わずか数個のハイパーパramータが本質的である）を裏付けた。