[論文レビュー] Elementary Symmetric Polynomials for Optimal Experimental Design

Zelda Mariet, Suvrit Sra|arXiv (Cornell University)|May 24, 2017

Advanced Optimization Algorithms Research参考文献 26被引用数 8

ひとこと要約

この論文は、基本対称多項式（ESPs）を用いてA-最適およびD-最適実験設計を統一的かつ補間的に扱う新しい最適実験設計フレームワーク、ESP-Designを提案する。グリーディおよび凸緩和アルゴリズムを提案し、証明可能な近似保証を有する。グリーディ法はFedorovの交換法と同等の品質を達成するが、著しく高速に動作することが示され、正定値行列上でのESPsの測地的対数凸性に関する新たな理論的結果も確立する。

ABSTRACT

We revisit the classical problem of optimal experimental design (OED) under a new mathematical model grounded in a geometric motivation. Specifically, we introduce models based on elementary symmetric polynomials; these polynomials capture "partial volumes" and offer a graded interpolation between the widely used A-optimal design and D-optimal design models, obtaining each of them as special cases. We analyze properties of our models, and derive both greedy and convex-relaxation algorithms for computing the associated designs. Our analysis establishes approximation guarantees on these algorithms, while our empirical results substantiate our claims and demonstrate a curious phenomenon concerning our greedy method. Finally, as a byproduct, we obtain new results on the theory of elementary symmetric polynomials that may be of independent interest.

研究の動機と目的

• 基本対称多項式（ESPs）を用いて、A-最適およびD-最適実験設計を1つの幾何的枠組みで統一すること。
• 理論的近似保証を有する効率的なアルゴリズム（グリーディおよび凸緩和）を開発し、ESPsに基づく設計を計算すること。
• 正定値行列のリーマン多様体上でのESPsの測地的対数凸性に関する新たな理論的結果を確立すること。
• AvronとBoutsidisによる行列式に基づく列サブセット選択結果を、すべてのESPsに一般化し、グリーディ選択の性能バッジを保証すること。
• ESP-DesignがA-最適性とD-最適性の間で滑らかに補間可能であることを実験的に検証し、予測精度と設計のスパarsityのバランスをとること。

提案手法

• 逆フィッシャー情報行列のℓ番目の基本対称多項式に基づく目的関数を最小化することで、最適実験設計を定式化する。
• 正定値多様体上でのESPsの測地的対数凸性を活用し、ESP-Design問題の凸緩和を導出する。
• 体積サンプリングを用いて実験を段階的に選択するグリーディアルゴリズムを提案し、AvronとBoutsidisのトレースに基づく結果をすべてのESPsに拡張した理論的保証を提供する。
• 正定値行列の空間への写像 a(H) を含む双対定式化を導入するが、一般の ℓ に対しては閉形式が不明のままである。
• 連続的緩和とラグランジュ双対性を用いて、グリーディアルゴリズムの近似バッジを導出する。
• 合成および実世界のデータセット（Concrete Compressive Strengthデータセットを含む）を用いてアプローチを検証し、予測誤差と設計のスパarsityを評価する。

実験結果

リサーチクエスチョン

• RQ1 基本対称多項式は、実験設計におけるA-最適とD-最適の間を滑らかに補間する統一的で幾何的動機付けのあるフレームワークを提供できるか？
• RQ2 ESP-Designのアルゴリズム的性質は何か？ また、証明可能な近似保証を有する効率的なグリーディおよび凸緩和手法を開発できるか？
• RQ3 順序 ℓ の基本対称多項式は、正定値行列のリーマン多様体上で測地的に対数凸であるか？ これにより、ESP-Design問題の効率的最適化が可能になるか？
• RQ4 AvronとBoutsidisによるトレースに関する列サブセット選択結果を、すべての基本対称多項式に一般化できるか？ これにより、グリーディ選択の定数倍近似保証が得られるか？
• RQ5 ESP-Designにおける ℓ の選択が、設計行列の予測精度とスパarsityのトレードオフにどのように影響するか？ そして、実用的な実験計画に活用可能か？

主な発見

• ESP-Designのグリーディアルゴリズムは、古典的なFedorovの交換法と同等の予測性能を達成するが、時間ははるかに短い。
• 提案されたグリーディ法は、AvronとBoutsidisの結果がすべての基本対称多項式に拡張されたことにより、定数倍近似保証を達成する。
• 順序 ℓ の基本対称多項式は、正定値行列の多様体上で測地的に対数凸であるため、ESP-Design問題の効率的凸緩和が可能になる。
• Concrete Compressive Strengthデータセットにおいて、ℓ を 1（A-最適）から 8（D-最適）に増加させると、設計行列のスパarsityが向上し、予測誤差はわずかに増加するにとどまる。
• 設計予算 k が増加するにつれて、一様サンプリングを除くすべての設計が連続的緩和に収束するが、k が大きい場合にはグリーディ法が一様サンプリングを上回る性能を示す。
• 理論的双対定式化には、一般の ℓ に対して未知の関数 a(H) が含まれるが、閉形式での双対は未解決のままである。ただし、理論的・実用的意義が極めて高いにもかかわらず。