[論文レビュー] Gradient Descent-based D-optimal Design for the Least-Squares Polynomial Approximation

Vitaly Zankin, Gleb Ryzhakov+1 more|arXiv (Cornell University)|Jun 18, 2018

Probabilistic and Robust Engineering Design参考文献 6被引用数 4

ひとこと要約

本稿では、最小二乗多項式近似におけるD最適実験設計のための勾配降下法を提案する。情報行列の行列式を最適化することで近似誤差を最小化する。本手法はLHS、Sobol’列挙、Maxvolサンプリングと比較して、より少ないサンプル数で優れた精度を達成しており、Lebesgue定数の増加が遅い。

ABSTRACT

In this work, we propose a novel sampling method for Design of Experiments. This method allows to sample such input values of the parameters of a computational model for which the constructed surrogate model will have the least possible approximation error. High efficiency of the proposed method is demonstrated by its comparison with other sampling techniques (LHS, Sobol' sequence sampling, and Maxvol sampling) on the problem of least-squares polynomial approximation. Also, numerical experiments for the Lebesgue constant growth for the points sampled by the proposed method are carried out.

研究の動機と目的

• 最小二乗多項式近似における近似誤差を最小化するためのサンプリング手法を開発すること。
• 従来の空間均等設計（例：LHS、Sobol’列挙）が最小限のサンプル数で高い精度を達成できないという制限を解決すること。
• 設計行列の条件数を最小化することで、不確実性定量化におけるスラッグモデルの効率を向上させること。
• 勾配ベース最適化が多次元多項式近似におけるD最適設計に有効であることを示すこと。

提案手法

• モデル行列A（基底多項式評価の行列）に対して、情報行列$ A^T A $の行列式を最大化することでD最適基準を最適化する。
• 各設計点に関して、対数行列式目的関数の解析的勾配を導出する。これにより、効率的な最適化が可能になる。
• 勾配降下法を用いて、$ \text{det}(A^T A) $ を最大化するように反復的に設計点を更新し、最小二乗問題の条件数を改善する。
• 非長方形領域に対処し、収束の安定性を確保するために、IPOP最適化アルゴリズムを適用する。
• 1変数直交多項式の解析的導関数を組み込むことで、勾配を効率的に計算する。
• 異なる領域形状と多項式次数を持つ多次元多項式近似タスクにおいて、手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 D最適基準の勾配ベース最適化は、標準的なサンプリング手法と比較して、より高い精度の最小二乗多項式近似を達成できるか？
• RQ2 本手法はLHS、Sobol’列挙、Maxvolサンプリングと比較して、近似誤差および条件数の観点でどのように異なるか？
• RQ3 本手法で選択された点におけるLebesgue定数の増加傾向は、異なる領域形状においてどのように変化するか？
• RQ4 本手法は、高品質な設計を維持したまま、非長方形領域に対しても効果的に適用可能か？

主な発見

• 提案手法である勾配降下ベースのD最適設計は、複数のテスト関数においてLHS、Sobol’列挙、Maxvolサンプリングと比較して、顕著に近似誤差を低減した。
• 設計行列の条件数が低く抑えられ、最小二乗解の数値的安定性が向上していることが示された。
• 本手法のLebesgue定数の増加は遅く、多項式近似における良好な補間性と安定性を示している。
• 本手法は円形やダイヤモンド型などの非長方形領域に対しても、良好な空間カバレッジと最小限のクラスタリングを実現して効果的にサンプリングした。
• 数値実験により、本手法はサンプル数を削減しても、標準的なサンプリング手法を上回ることが確認された。
• 解析的勾配計算により、最適化が効率的に行えるため、本手法は高次元問題へのスケーラビリティを有している。