[論文レビュー] Improvements on removing non-optimal support points in D-optimum design algorithms

Radoslav Harman, Luc Pronzato|arXiv (Cornell University)|Jun 29, 2007

Optimal Experimental Design Methods参考文献 6被引用数 40

ひとこと要約

この論文では、最適性からの現在の設計の最大偏差 $ \epsilon $ に基づいて、候補サポート点の分散関数 $ d(\xi, \mathbf{x}_*) $ のより鋭い下界を導出し、D-最適設計アルゴリズムを改善している。新しい下界 $ m(1 + \epsilon/2 - \sqrt{\epsilon(4 + \epsilon - 4/m)}/2) $ により、アルゴリズムの反復処理中に非最適点をより積極的に削除でき、反復回数を増やさずに収束が著しく高速化される。数値実験では30倍の高速化が確認された。

ABSTRACT

We improve the inequality used in Pronzato [2003. Removing non-optimal support points in D-optimum design algorithms. Statist. Probab. Lett. 63, 223-228] to remove points from the design space during the search for a $D$-optimum design. Let $ξ$ be any design on a compact space $\mathcal{X} \subset \mathbb{R}^m$ with a nonsingular information matrix, and let $m+ε$ be the maximum of the variance function $d(ξ,\mathbf{x})$ over all $\mathbf{x} \in \mathcal{X}$. We prove that any support point $\mathbf{x}_{*}$ of a $D$-optimum design on $\mathcal{X}$ must satisfy the inequality $d(ξ,\mathbf{x}_{*}) \geq m(1+ε/2-\sqrt{ε(4+ε-4/m)}/2)$. We show that this new lower bound on $d(ξ,\mathbf{x}_{*})$ is, in a sense, the best possible, and how it can be used to accelerate algorithms for $D$-optimum design.

研究の動機と目的

• D-最適設計アルゴリズムの効率を向上させ、設計空間から非最適サポート点をより速やかに除去すること。
• D-最適設計の任意の候補サポート点 $ \mathbf{x}_* $ に対して、分散関数 $ d(\xi, \mathbf{x}_*) $ のより鋭い理論的根拠に基づく下界を導出すること。
• Pronzato (2003) の従来の下界を、$ \epsilon = \max_{\mathbf{x} \in \mathcal{X}} d(\xi, \mathbf{x}) - m $ のみに依存する新しい不等式に置き換えることで、アルゴリズム実行中のリアルタイムフィルタリングに計算的に実用的であるようにすること。
• 数値実験を通じて、新しい下界が反復回数を増やさずにアルゴリズムの収束を著しく高速化することを示すこと。

提案手法

• 情報行列比 $ \mathbf{H} = \mathbf{M}^{-1/2}\mathbf{M}_*\mathbf{M}^{-1/2} $ の固有値構造に基づき、任意の候補サポート点 $ \mathbf{x}_* $ における $ d(\xi, \mathbf{x}_*) $ の新しい下界を導出する。
• Kiefer-Wolfowitzの等価定理とトレース恒等式を用い、$ \epsilon = \max_{\mathbf{x}} d(\xi, \mathbf{x}) - m $ を用いて、$ \mathbf{H} $ の固有値 $ \lambda_i $ に対する制約を表現する。
• 制約 $ \sum \lambda_i^{-1} \leq m $ および $ \sum \lambda_i \leq m + \epsilon $ の下で最小固有値 $ \lambda_1 $ を最小化する制約付き最適化問題を定式化し、新しい下界 $ \lambda_1^* = 1 + \epsilon/2 - \sqrt{\epsilon(4 + \epsilon - 4/m)}/2 $ を得る。
• 下界 $ d(\xi, \mathbf{x}_*) \geq m \lambda_1^* $ をフィルタとして適用：反復処理中に $ d(\xi, \mathbf{x}) < m \lambda_1^* $ を満たす点は安全に設計空間から削除可能。
• 点の分散関数値がしきい値未満の場合は削除され、重みが再配分される、乗法的重み更新アルゴリズム (7) に新しい下界を統合する。再配分は比例的または $ A \geq 1 $ のスケーリング係数を用いる。
• 新しい下界を用いて、アルゴリズムの初期段階で候補サポート点を早期に特定し、残存する候補の少数に対してより効率的な凸計画法に切り替えることが可能になる。

実験結果

リサーチクエスチョン

• RQ1 $ \epsilon = \max_{\mathbf{x}} d(\xi, \mathbf{x}) - m $ のみに依存する、分散関数 $ d(\xi, \mathbf{x}_*) $ のより鋭い理論的下界を導出可能か？ これにより非最適点のより積極的な pruning が可能になるか？
• RQ2 Pronzato (2003) の従来の下界と比較して、新しい下界は候補サポート点の $ d(\xi, \mathbf{x}_*) $ の下限をどの程度鋭くするか？
• RQ3 実際のD-最適設計アルゴリズムにおいて、新しい下界の使用が反復の初期段階でどの程度収束を高速化するか？
• RQ4 新しい下界に基づく点の削除は、D-最適設計への収束を保持しつつ、計算コストを削減できるか？

主な発見

• 新しい下界 $ m(1 + \epsilon/2 - \sqrt{\epsilon(4 + \epsilon - 4/m)}/2) $ は、Pronzato (2003) の従来の下界よりも鋭く、特に $ \epsilon > 0 $ の場合に顕著に改善され、与えられた制約下で最良のものであることが証明されている。
• 新しい下界により、反復処理中に非最適設計点をより多く削除可能となり、特に $ \epsilon $ が大きい初期段階で収束が著しく高速化される。
• 最小カバー楕円問題に対する数値実験では、新しい下界を用いたアルゴリズムは、点の削除を行わないオリジナルのアルゴリズムと比較して、計算時間を30倍短縮した。
• 精度 $ \delta = 10^{-3} $ に到達するための反復回数 $ k^*(\delta) $ は、ほぼ同一（247 vs. 252）であり、速度向上は反復回数の削減ではなく、各反復の簡略化に起因していることが示された。
• 新しい下界を用いたアルゴリズムでは、収束時の中央値としてわずか5.5個のサポート点にまで設計空間が縮小されたのに対し、オリジナルのアルゴリズムでは1000個にのぼった。これは、設計空間の効果的なプルーニングを示している。
• 本手法により、候補サポート点をアルゴリズムの初期段階で早期に特定でき、残存する少数の候補に対してより効率的な凸最適化ルーチンに切り替え可能となり、性能向上がさらに促進された。