[論文レビュー] Bayesian optimal design using stochastic gradient optimisation and Fisher information gain

Sophie Harbisher, Colin S. Gillespie+1 more|arXiv (Cornell University)|Apr 11, 2019

Stochastic Gradient Optimization Techniques参考文献 13被引用数 2

ひとこと要約

本稿では、トレースに基づくフィッシャー情報量の利得を目的関数として用いる確率的勾配最適化を用いたベイズ最適設計手法SGO-FIGを提案する。この手法は、高次元の実験設計を効率的に見つけるために開発され、最先端の手法と比較してより速い収束を達成しており、1分未満で数百の選択肢を持つ設計を生成する。

ABSTRACT

Finding high dimensional designs is increasingly important in applications of experimental design, but is computationally demanding under existing methods. We introduce an efficient approach applying recent advances in stochastic gradient optimisation. To allow rapid gradient calculations we work with a computationally convenient utility function, the trace of the Fisher information. We provide a decision theoretic justification for this utility, analogous to work by Bernardo (1979) on the Shannon information gain. Due to this similarity we refer to our utility as the Fisher information gain. We compare our optimisation scheme, SGO-FIG, to existing state-of-the-art methods and show our approach is quicker at finding designs which maximise expected utility, allowing designs with hundreds of choices to be produced in under a minute in one example.

研究の動機と目的

• 実験設計の応用における高次元ベイズ最適設計の計算上の課題に対処すること。
• 既存の手法が高次元の設計空間へのスケーリングにおいて非効率であるという問題を克服すること。
• 設計選択における高い利得を維持しつつ、計算効率の高い最適化フレームワークを開発すること。
• 意思決定理論的原則に基づき、フィッシャー情報行列のトレースを利得関数として用いる正当性を示すこと。
• 設計の質を維持しつつ、最先端の手法と比較して顕著な高速化を実現すること。

提案手法

• 設計最適化のための計算的に便利な利得関数として、フィッシャー情報行列のトレースを用いる。
• 高次元の設計空間を効率的に探索するため、確率的勾配最適化（SGO）を適用する。
• 意思決定理論的正当化のため、Bernardo（1979）のシャノン情報量利得に類似した「フィッシャー情報量利得」（FIG）として利得を定式化する。
• モンテカルロサンプルを用いて、最適化中の迅速な更新を可能にする勾配推定器を構築する。
• 利得関数を確率的最適化ループに統合し、反復的に設計の質を向上させる。
• 完全なヘッシアン行列の計算を回避し、効率的な勾配近似に依存することでスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 高次元空間におけるベイズ最適設計に確率的勾配最適化を効果的に適用できるか？
• RQ2 意思決定理論的原則に基づいて、フィッシャー情報量のトレースが設計最適化のための有効かつ効率的な利得関数として妥当であるか？
• RQ3 SGO-FIGは、既存の最先端のベイズ最適設計手法と比較して、速度と性能でどのように差をつけるか？
• RQ4 本手法は、数百の選択肢を持つ設計に対し、計算効率を維持したままどの程度スケーリング可能か？
• RQ5 フィッシャー情報量利得の利得関数は、より計算コストの高い手法と同等の期待利得をもつ設計を生成するか？

主な発見

• SGO-FIGは、既存の最先端の手法と比較して、ベイズ最適設計の探索においてより速い収束を達成する。
• 本手法は、1分未満で数百の選択肢を持つ高次元設計を生成でき、強力なスケーラビリティを示している。
• トレースとしてのフィッシャー情報量、すなわち「フィッシャー情報量利得」としての定式化は、Bernardo（1979）のシャノン情報量に関する研究に類似した意思決定理論的根拠により正当化される。
• 提案された利得関数により、高速な勾配計算が可能となり、効率的な確率的最適化に不可欠である。
• 計算時間を顕著に削減しながらも高い期待利得を維持しており、実世界の高次元応用に適している。
• 実験的結果により、SGO-FIGが複雑な設計問題において、速度とスケーラビリティの両面で既存の手法を上回ることが確認された。