[論文レビュー] Global optimization in inverse problems: A comparison of Kriging and radial basis functions

Wolfgang Jacquet, Bart Truyen+3 more|ArXiv.org|Jun 22, 2005

Advanced Multi-Objective Optimization Algorithms参考文献 7被引用数 6

ひとこと要約

この論文は、高価で不適切に設定された逆問題におけるグローバル最適化において、クリギングと径数基底関数（RBFs）を比較する。動的基底関数更新を用いたRBFアルゴリズムの適応を提案し、探索と正則化のバランスをとる。ノイズの多いデータへの過剰適合のリスクが低く、正則化の保持が優れているため、クリギングよりもより適していると判明した。

ABSTRACT

We study global optimization (GOP) in the framework of non-linear inverse problems with a unique solution. These problems are in general ill-posed. Evaluation of the objective function is often expensive, as it implies the solution of a non-trivial forward problem. The ill-posedness of these problems calls for regularization while the high evaluation cost of the objective function can be addressed with response surface techniques. The global optimization using Radial Basis Function (RBF) as presented by Gutmann (2001) is a response surface global optimization technique with regularizing aspects. Alternatively, several publications put forward global optimization using a probabilistic approach based upon Kriging as an efficient technique for non-linear multi modal objective functions, thereby providing a credible stopping rule (Jones2001). After comparing both concepts, we argue that in case of non-linear inverse problems an adaptation of the RBF algorithm seems to be the most promising approach.

研究の動機と目的

• 非線形逆問題におけるグローバル最適化のためのクリギングとRBFベースの応答面法を評価・比較すること。
• 複雑な前方問題を解く必要があるため、目的関数の評価に高い計算コストがかかるという課題に対処すること。
• 正則化と探索・活用のバランスがグローバル最適化の収束性と信頼性に与える影響を調査すること。
• 不適切に設定された逆問題において、確率的クリギングと決定的RBFsのどちらが正則化をより良く保持するかを特定すること。
• データに応じて基底関数を動的に更新するRBFアルゴリズムを提案し、正則化を維持しながら行うこと。

提案手法

• サンプリングされた点における値を、径数関数と低次の多項式の線形結合を用いて補間することで、目的関数のスレーブモデルを構築するため、径数基底関数（RBFs）を用いる。
• 多項式次数とカーネルの挙動に特定の条件を課した、マルチクアドリック、ガウス、薄板スプラインなどのカーネルタイプを用いたRBF補間を適用する。
• 逐次的最適化戦略を実装：現在のRBFスレーブモデルに基づき、未到達領域の探索と有望領域の活用のバランスをとった新しい評価点を反復的に選択する。
• RBF法を、ガウスRBFsにおけるγなどの基底関数パラメータを動的に調整することで適応化し、正則化を維持し、ノイズやスパースなデータへの過剰適合を回避する。
• 期待改善基準を採用するサンプリング指針を有する確率的モデルを用いるクリギングとRBF法を比較する。
• 目的関数の評価が高価で、問題が不適切であるという制約下で両手法を評価する。正則化によって解を安定化させる必要がある。

実験結果

リサーチクエスチョン

• RQ1 非線形逆問題において、クリギングとRBFベースのグローバル最適化手法は、収束性と信頼性の観点でどのように比較されるか？
• RQ2 RBF法は、不適切な問題における探索と活用のバランスを向上させながら、正則化を維持できるように適応可能か？
• RQ3 グローバル最小値に向かって最適化する際、クリギングの確率的フレームワークが平均と分散推定にバイアスをもたらすか？
• RQ4 RBFsにおける適応的基底関数選択は、クリギングのパrameter適応と比較して、正則化をどの程度良く保持するか？
• RQ5 クリギングで用いられる期待改善基準は、RBFフレームワークに効果的に移植可能か？

主な発見

• 正則化の保持が優れているため、不適切に設定された逆問題において、基底関数を動的に更新するRBFベースのグローバル最適化法は、クリギングよりも適している。
• グローバル最小値に近づくと、クリギングの観測に依存するパrameter推定に起因して、平均と分散が過小評価され、統計的信頼性が損なわれる。
• 特にγパラメータを制御したガウスまたはマルチクアドリックRBFsを用いることで、構造的で非適応的な正則化フレームワークを維持するため、RBFアプローチは過剰適合を回避する。
• 適応的RBFsは、正則化を損なわずにデータ駆動の更新を組み込むことができ、ノイズや不適切性が存在する問題において、クリギングよりもより頑健である。
• クリギングで用いられる期待改善基準は、RBFフレームワークに意味的に適応可能であり、ハイブリッドまたは改善されたRBFベースの最適化戦略の可能性を示唆する。
• クリギングは、基底関数の方向的バイアスにより局所的最小値を好む傾向があるが、これは非一様なヘッセ行列構造を示す問題では有効でない。これは、適切なカーネル選択がなされたRBFsには内在しない制限である。