[論文レビュー] Random generation of optimal saturated designs

Roberto Fontana|arXiv (Cornell University)|Mar 26, 2013

Optimal Experimental Design Methods参考文献 1被引用数 3

ひとこと要約

本稿では、実験計画における最適飽和設計の探索をいつ停止すべきかを決定するために、発見確率推定を用いたベイジアン非パラメトリック手法を提案する。新しい最適設計を母集団内の「新種」としてモデル化し、罰則付き尤度アプローチを用いて、より良い設計が発見される確率を推定することで、SAS Proc Optex などのアルゴリズムにデータ駆動型の停止ルールを可能にする。

ABSTRACT

Efficient algorithms for searching for optimal saturated designs are widely available. They maximize a given efficiency measure (such as D-optimality) and provide an optimum design. Nevertheless, they do not guarantee a \emph{global} optimal design. Indeed, they start from an initial random design and find a local optimal design. If the initial design is changed the optimum found will, in general, be different. A natural question arises. Should we stop at the design found or should we run the algorithm again in search of a better design? This paper uses very recent methods and software for discovery probability to support the decision to continue or stop the sampling. A software tool written in SAS has been developed.

研究の動機と目的

• 最適飽和設計の探索をいつ停止すべきかを決定する課題に取り組むこと、特にアルゴリズムが局所最適解に収束する可能性がある状況において。
• 追加の探索イテレーションがより良い設計をもたらす可能性があるかどうかを判断する意思決定支援手法を構築すること。
• 従来、種の豊度推定から発展した発見確率推定の最近の進展を、最適設計生成の問題に応用すること。
• 研究者が無駄な計算を避けつつ、グローバルに最適な設計を発見する可能性を最大化できる実用的でソフトウェアベースのソリューションを提供すること。
• SAS Proc Optex などの既存の最適化ツールの有用性を、統計的学習理論に基づく原理的停止基準を統合することで拡張すること。

提案手法

• 各々の固有の D-最適設計を「種」として、新しい最適設計の発見を種の発見問題としてモデル化する。
• Favaro et al. (2012) が提唱したベイジアン非パラメトリック推定器を、設計生成における離散的最適化文脈に適合させた。
• 特にガンマ関数の項が未定義になる場合に生じるパrameter space の制約に対処するために、罰則付き対数尤度関数を用いる。
• パrameter が実行可能領域外（例：θ + iσ ≤ 0）にある場合に、対数尤度成分に距離に基づく罰則を適用し、数値的安定性を確保する。
• 再帰的停止ルールを実装：次回イテレーションで新しい最適設計が発見される推定確率がしきい値 p⋆ よりも低い場合、アルゴリズムは停止する。
• SAS Proc Optex と統合し、ユーザーが複数回の探索イテレーションを実行し、自動的に停止ルールを適用できるようにする。

実験結果

リサーチクエスチョン

• RQ1 グローバル最適性を保証しない状況で、最適飽和設計の探索をいつ停止すべきかをどのように決定できるか？
• RQ2 種の豊度モデルからの発見確率推定を、実験計画における離散的最適化問題にどの程度適合させられるか？
• RQ3 計算コストとより良い設計が見つかる可能性のバランスを取る、反復的設計探索アルゴリズムの最適停止ルールは何か？
• RQ4 罰則付き尤度推定は、制約付きパrameter space における発見確率推定のロバストネスをどのように向上させるか？
• RQ5 リアルタイムでの発見確率更新を用いて、最適設計生成における停止意思決定を自動化できるソフトウェアツールを開発できるか？

主な発見

• 発見確率推定器は、さらなる探索イテレーションがより良い設計をもたらす可能性があるかどうかを統計的に根拠のある方法で評価可能であることを示した。
• 罰則付き尤度アプローチにより、パrameter 値が非実行可能領域に近づいたり、それに入ってしまう場合でも、数値的安定性が保証された。
• 本手法は、新しい最適設計の発見確率がしきい値（p⋆）を下回った場合に、アルゴリズムの停止を正当化する形で、その状況を的確に同定できた。
• 開発された SAS ソフトウェアツールにより、ユーザーは任意の要因、水準、モデルをカスタマイズ可能な状況で、停止ルールを適用できるようになった。
• 実証的結果から、本手法は、より良い設計が見つかる可能性が低下すると直ちに探索を停止することで、無駄な計算を回避し、探索効率を向上させた。
• 本アプローチは D-最適性を超えて一般化可能であり、A-最適性や G-最適性などの他の基準に対しても適応可能である。