[論文レビュー] Interior Point Methods for Optimal Experimental Designs

Zhaosong Lu, Ting Kei Pong|arXiv (Cornell University)|Sep 9, 2010

Advanced Optimization Algorithms Research参考文献 31被引用数 1

ひとこと要約

本稿では、A-基準、D-基準、およびp乗平均基準などの滑らかで凸な基準における最適実験設計のための内点法（IP）を提案する。この手法は、シューマン＝モリソン＝ウッドベリーの公式を用いてヘシアン行列の低ランク構造を活用し、効率的なニュートンステップ計算を可能にする。この方法は、古典的な乗法的アルゴリズムと比較して、収束速度と解の品質の両面で優れた性能を示す。

ABSTRACT

In this paper, we study optimal experimental design problems with a broad class of smooth convex optimality criteria, including the classical A-, D- and p th mean criterion. In particular, we propose an interior point (IP) method for them and establish its global convergence. Furthermore, by exploiting the structure of the Hessian matrix of the aforementioned optimality criteria, we derive an explicit formula for computing its rank. Using this result, we then show that the Newton direction arising in the IP method can be computed efficiently via Sherman-Morrison-Woodbury formula when the size of the moment matrix is small relative to the sample size. Finally, we compare our IP method with the widely used multiplicative algorithm introduced by Silvey et al. [29]. The computational results show that the IP method generally outperforms the multiplicative algorithm both in speed and solution quality.

研究の動機と目的

• 滑らかで凸な最適性基準の広いクラスに対して、グローバル収束性を有する内点法を最適実験設計問題に開発すること。
• 最適性基準におけるヘシアン行列の構造的性質を活用し、ニュートン方向の計算を効率化すること。
• 計算効率と解の品質の面で、広く用いられている乗法的アルゴリズムを改善すること。
• 最適設計問題の文脈において、収束性と計算複雑度に関する理論的保証を確立すること。

提案手法

• 本手法は、A-基準、D-基準、およびp乗平均基準を含む滑らかで凸な基準を有する最適実験設計問題を解くために内点最適化を適用する。
• 最適性基準のヘシアン行列の低ランク構造を活用することで、計算コストを低減する。
• ヘシアン行列のランクを明示的に導出する公式を導出し、シューマン＝モリソン＝ウッドベリーの恒等式を用いた効率的な行列逆行列計算を可能にする。
• モーメント行列のサイズが標本サイズに比べて小さい場合に、低ランク性を活用してニュートン方向を効率的に計算する。
• 反復の各段階で十分な減少と妥当性を保証することで、グローバル収束を維持する。
• 計算ベンチマークを用いて、シルヴィーらの乗法的アルゴリズムと本手法を実装・比較した。

実験結果

リサーチクエスチョン

• RQ1 一般の滑らかで凸な基準を有する最適実験設計問題に、内点法を効果的に適用できるか？
• RQ2 最適性基準のヘシアン構造をどのように活用すれば、ニュートンステップの計算を高速化できるか？
• RQ3 本文脈においてシューマン＝モリソン＝ウッドベリーの公式を用いることで得られる計算的利点は何か？
• RQ4 提案されたIP法は、収束速度と解の正確性の面で、古典的な乗法的アルゴリズムを上回るか？
• RQ5 ヘシアン行列の低ランク構造が、顕著な計算コスト削減をもたらす条件は何か？

主な発見

• 提案された内点法は、滑らかで凸な基準を有する最適実験設計問題に対してグローバル収束性を達成する。
• ヘシアン行列のランクを明示的に導出する公式が得られ、これによりニュートン方向の計算が効率的に行える。
• モーメント行列のサイズが標本サイズに比べて小さい場合に、シューマン＝モリソン＝ウッドベリーの公式を用いてニュートンステップを効率的に計算できる。
• 計算結果から、IP法は速度と解の品質の両面で乗法的アルゴリズムを上回ることが示された。
• 低ランクヘシアン構造の活用により、顕著な計算効率の向上が達成された。
• 設計点の数がモーメント行列のサイズに比べて大きい問題に対しても、本手法はロバストでスケーラブルであることが示された。