[論文レビュー] Sequential construction and dimension reduction of Gaussian processes under constraints

François Bachoc, Andrés F. López-Lopera+1 more|arXiv (Cornell University)|Sep 9, 2020

Gaussian Processes and Bayesian Inference参考文献 38被引用数 6

ひとこと要約

本稿では、次元削減と適応的ノット配置を組み合わせた制約付きガウス過程の構築のための逐次的手法MaxModを提案する。最大後験モードの修正に基づき、反復的にアクティブ変数または1次元ノットを追加することで、収束を保証するとともに、制約（例：単調性、有界性）を満たしつつ、20次元まで効率的にスケーリングする。従来手法よりも少ないノット数で実現する。

ABSTRACT

Accounting for inequality constraints, such as boundedness, monotonicity or convexity, is challenging when modeling costly-to-evaluate black box functions. In this regard, finite-dimensional Gaussian process (GP) regression models bring a valuable solution, as they guarantee that the inequality constraints are satisfied everywhere. Nevertheless, these models are currently restricted to small dimensional situations (up to dimension 5). Addressing this issue, we introduce the MaxMod algorithm that sequentially inserts one-dimensional knots or adds active variables, thereby performing at the same time dimension reduction and efficient knot allocation. We prove the convergence of this algorithm. In intermediary steps of the proof, we propose the notion of multi-affine extension and study its properties. We also prove the convergence of finite-dimensional GPs, when the knots are not dense in the input space, extending the recent literature. With simulated and real data, we demonstrate that the MaxMod algorithm remains efficient in higher dimension (at least in dimension 20), and needs fewer knots than other constrained GP models from the state-of-the-art, to reach a given approximation error.

研究の動機と目的

• 高次元入力空間における不等式制約下での有限次元ガウス過程モデルのスケーラビリティの制限を解消すること。
• 次元削減と効率的なノット割り当てを統合したフレームワークを構築すること。
• 不等式制約（例：有界性、単調性）が観測点に限定されず、グローバルに満たされることを保証すること。
• 逐次的ノットおよび変数選択の下で、得られる制約付きGPモデルの収束を証明すること。
• 高次元設定におけるノット数と近似誤差の観点から、効率性の向上を示すこと。

提案手法

• MaxModは、最大後験モード（MAP）関数に対する$L^2$ノルムの最大変更に基づき、新たなアクティブ変数または1次元ノットを逐次的に選択する。
• ノット挿入と変数活性化がMAP関数の$L^2$ノルム変化に与える影響をバランスさせる基準を用いる。
• MAP関数のノット分割における挙動を分析するために、制約付きGPモデルの多アフィン拡張を採用する。
• 変数集合のネスト列$\mathcal{J}_m$とノット集合$S^{(m)}_i$に依存し、ノット密度が増加するにつれて収束を保証する。
• MAP関数の修正の$L^2$ノルムが0に近づき、すべての変数およびノット集合が$[0,1]$で稠密になることにより収束を証明する。
• 密度のないノット集合に対しても、有限次元GP収束の理論的拡張を実現し、最近の理論的結果を拡張する。

実験結果

リサーチクエスチョン

• RQ1 不等式制約を満たす中で、次元削減とノット割り当てを同時に効果的に行う逐次的手法は可能か？
• RQ2 MaxModアルゴリズムは、不等式制約下で真の関数の一貫した近似に収束するか？
• RQ3 高次元設定において、MaxModの近似誤差と必要ノット数は、既存の制約付きGPモデルと比べてどのように優れているか？
• RQ4 関数の変動が大きい領域に適応的にノットを割り当てるとともに、最も影響力のある変数を特定・優先することができるか？
• RQ5 ノットが入力空間で稠密でない場合に、有限次元GP近似の収束について、どのような理論的保証を提供できるか？

主な発見

• MaxModは、ノット集合が初期に稠密でない場合であっても、不等式制約下でMAP関数が真の関数に収束することを達成する。
• アルゴリズムは、すべての入力変数が最終的にアクティブになり、それに対応するノット集合が$[0,1]$で稠密になることを保証し、完全な収束を確立する。
• シミュレーションおよび実データにおいて、MaxModは次元20でも著しく少ないノット数で高い精度を維持する。
• 関数の変動が大きい領域にノットを動的に割り当てるとともに、影響力のある変数を優先することで、既存手法を上回る性能を発揮する。
• 理論的分析により、ノット数が増加するにつれてMAP関数が一様に収束し、各ステップで最も影響力のある追加を選び取ることが確認された。
• 多アフィン拡張の導入により、制約付きGPモデルの収束挙動を分析するための新たな解析的ツールが得られた。