[論文レビュー] Approximate Supermodularity Bounds for Experimental Design

Luiz F. O. Chamon, Alejandro Ribeiro|arXiv (Cornell University)|Nov 4, 2017

Sparse and Compressive Sensing Techniques参考文献 29被引用数 6

ひとこと要約

本稿では、近似スーパーモジュラリティを導入することで、グリーディA-およびE最適実験設計に対する非漸近的サブ最適性バウンドを確立し、信号対雑音比（SNR）が低下するにつれて、これらの目的関数が次第にスーパーモジュラリティに近づくことを示した。これにより、低SNR領域ではほぼ(1−1/e)-最適性が達成される。このフレームワークにより、非スーパーモジュラリティなコスト関数にもかかわらず、実験的成果と理論的保証の整合性が図られた。

ABSTRACT

This work provides performance guarantees for the greedy solution of experimental design problems. In particular, it focuses on A- and E-optimal designs, for which typical guarantees do not apply since the mean-square error and the maximum eigenvalue of the estimation error covariance matrix are not supermodular. To do so, it leverages the concept of approximate supermodularity to derive non-asymptotic worst-case suboptimality bounds for these greedy solutions. These bounds reveal that as the SNR of the experiments decreases, these cost functions behave increasingly as supermodular functions. As such, greedy A- and E-optimal designs approach (1-1/e)-optimality. These results reconcile the empirical success of greedy experimental design with the non-supermodularity of the A- and E-optimality criteria.

研究の動機と目的

• 非スーパーモジュラリティなコスト関数のための理論的保証の欠如にもかかわらず、A-およびE最適実験設計におけるグリーディアルゴリズムの経験的成果と理論的整合性を図ること。
• 平均二乗誤差および誤差共分散行列の最大固有値におけるスーパーモジュラリティの破れを定量化する近似スーパーモジュラリティのフレームワークを構築すること。
• 基数制約下でのグリーディ解の最悪ケース、非漸近的サブ最適性バウンドを導出すること。
• SNRが低下するにつれて、グリーディA-およびE設計の性能保証が向上し、古典的な(1−1/e)バウンドに近づくことを示すこと。
• 実験設計におけるマルチセットおよび非凸・非スーパーモジュラリティな目的関数に対しても理論的保証を拡張すること。

提案手法

• A-およびE最適性基準におけるスーパーモジュラリティからの逸脱を定量化する近似スーパーモジュラリティの尺度を導入する。
• SNRを用いて、平均二乗誤差および誤差共分散行列の最大固有値のサブモジュラリティ違反に関するバウンドを導出する。
• これらのバウンドを用いて、A-およびE最適設計におけるグリーディアルゴリズムの最悪ケース性能保証を確立する。
• このフレームワークを適用し、α≥(1+O(γ))−1である場合にA最適性に対して乗法的(1−e−α)-最適性バウンドを導出する。ここでγはSNRの上界を表す。
• E最適性に対しては、ϵ=O(γ)の下で(1−e−1)(f(D⋆)+kϵ)の上界を確立する。
• 各実験をk回複製する必要がないため、従来の手法が生じる情報のないバウンドを回避する。

実験結果

リサーチクエスチョン

• RQ1 非スーパーモジュラリティな目的関数にもかかわらず、A-およびE最適実験設計におけるグリーディアルゴリズムは理論的に正当化可能か？
• RQ2 信号対雑音比（SNR）は、A-およびE最適性基準におけるスーパーモジュラリティ違反の度合いにどのように影響するか？
• RQ3 近似スーパーモジュラリティを用いて、グリーディ実験設計の非漸近的・最悪ケース性能保証を導出可能か？
• RQ4 低SNR領域において、グリーディA-およびE設計の性能バウンドは向上し、古典的な(1−1/e)バウンドに近づくか？
• RQ5 このフレームワークは、実験のk重複製を要件としないマルチセットを扱うことができ、従来の手法が生じる情報のないバウンドを回避できるか？

主な発見

• A最適設計におけるグリーディ解は、α≥(1+O(γ))−1を満たす場合、最適解の(1−e−α)倍以内に収束する。ここでγは実験のSNRの上界を表す。
• E最適設計では、グリーディ解の値は(1−e−1)(f(D⋆)+kϵ)以下であり、ϵ=O(γ)である。
• SNRが低下するにつれて、グリーディA-およびE最適設計の性能保証は古典的な(1−1/e)-最適性バウンドに近づく。
• バウンドは非漸近的であり、任意の問題次元および設計サイズkに対して最悪ケースで有効である。
• 従来の手法が実験の複製を要件としていたのとは異なり、本フレームワークは複製を必要としないため、よりタイトで実用的な保証が得られる。
• 映画評価予測に関する実験的結果では、グリーディ設計がランダム選択（MAE 2.8–3.3、誤差>45%）と比較して、より低いMAE（k=10のとき2.3）および誤分類率（約25%）を達成した。