[論文レビュー] A new criterion based on Kullback-Leibler information for space filling designs

Astrid Jourdan, Jessica Franco|ArXiv.org|Apr 16, 2009

Mathematical Approximation and Integration参考文献 16被引用数 4

ひとこと要約

本稿では、設計点の経験的分布と一様分布の乖離を最小化するため、Kullback-Leibler (KL) 情報に基づく新しい空間満たし設計基準を提案する。モンテカルロ推定を用いてカーネル密度または近隣距離法によりシャノンエントロピーを最大化することで、コンピュータ実験設定における設計の均一性と効率性が向上する。

ABSTRACT

Experimental designs are tools which can drastically reduce the number of simulations required by time-consuming computer codes. One strategy for selecting the values of the inputs, whose response is to be observed, is to choose these values so that they are spread evenly throughout the experimental region, according to ?space filling designs?. In this article, we suggest a new criterion based on the Kullback-Leibler information for design construction. The aim is to minimize the difference between the empirical distribution of the design points and the uniform distribution which is equivalent to maximizing the Shannon entropy. The entropy is estimated by a Monte Carlo method, where the density function is replaced with its kernel density estimator or by using the nearest neighbor distances.

研究の動機と目的

• 実験領域の均等なカバーを保証する新しい空間満たし設計基準の開発を目的とする。
• 設計点の経験的分布と一様分布の間のKullback-Leibler乖離を最小化すること。
• シャノンエントロピーを均一性の代理指標として最大化することで、コンピュータ実験における設計効率を向上させること。
• 非パラメトリック密度推定を用いたモンテカルロ技術によるエントロピー推定の計算可能性を確保する方法を提供すること。
• 最大最小距離や最小最大距離といった従来の空間満たし基準の代替としての強健性を提供すること。

提案手法

• 設計点の経験的分布と一様分布の間のKL乖離を最小化する基準を定式化する。
• カーネル密度推定を用いたモンテカルロ積分により設計のシャノンエントロピーを推定する。
• バンド幅選択の問題を回避するため、近隣距離を用いた代替エントロピー推定法を採用する。
• KL乖離の最小化により、一様性制約下でのエントロピー最大化が可能となるため、設計を最適化する。
• 反復アルゴリズムを用いて、高次元空間における均一性に収束する設計を生成する。
• シミュレーションスタディを用いて、古典的な空間満たし基準と比較することで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 経験的分布と一様分布の間のKL乖離を、空間満たし設計の基準としてどのように利用できるか？
• RQ2 エントロピー最大化が、コンピュータ実験における設計の均一性とカバー範囲に与える影響は何か？
• RQ3 カーネル密度推定と近隣距離法は、設計評価のためのエントロピー推定において、どのように比較できるか？
• RQ4 提案されたKLベースの基準は、従来の空間満たし基準よりも設計効率において優れているか？
• RQ5 高次元設計構築におけるエントロピー基準の使用に伴う計算上のトレードオフは何か？

主な発見

• 提案されたKLベースの基準は、経験的分布と一様分布の乖離を効果的に最小化し、空間満たし特性の向上を実現する。
• 近隣距離によるエントロピー推定は、特に高次元においてカーネル密度推定の強力な代替手段を提供する。
• 特に複雑または高次元の入力空間では、最大最小距離などの標準基準と比較して、設計点の均一性が著しく向上する。
• モンテカルロベースのエントロピー推定により、スケーラブルな計算が可能となり、大規模なシミュレーションスタディへの適用が可能になる。
• 基準は設計構成に敏感であり、実験領域全体に均等に分散された点を有する設計を一貫して好む。
• 経験的結果から、本基準により最適化された設計は、従来の手法と比較してKL乖離が低く、エントロピーが高いことが示された。