[論文レビュー] Near-Optimal Recovery of Linear and N-Convex Functions on Unions of Convex Sets

Anatoli Juditsky, Arkadi Nemirovski|arXiv (Cornell University)|Apr 1, 2018

Sparse and Compressive Sensing Techniques参考文献 27被引用数 5

ひとこと要約

本稿では、一般の「良い」観測スキーム（例：ガウス分布、ポアソン分布、離散分布）のもとで、間接的でノイズのある観測に基づき、有限個の凸コンパクト集合の和集合に属する信号の線形およびN-凸関数 functional に対する近似的に最適で計算にやさしい推定手法を提示する。この手法は凸最適化を活用して、証明可能な近ミニマックスリスクを有する推定量を構築し、従来のアフィン関数 functional やガウスノイズにとどまらないより広範な設定へと拡張し、保証された信頼性と効率性を実現する。

ABSTRACT

In this paper we build provably near-optimal, in the minimax sense, estimates of linear forms and, more generally, "$N$-convex functionals" (the simplest example being the maximum of several fractional-linear functions) of unknown "signal" known to belong to the union of finitely many convex compact sets from indirect noisy observations of the signal. Our main assumption is that the observation scheme in question is good in the sense of A. Goldenshluger, A. Juditsky, A. Nemirovski, Electr. J. Stat. 9(2) (2015), arXiv:1311.6765, the simplest example being the Gaussian scheme where the observation is the sum of linear image of the signal and the standard Gaussian noise. The proposed estimates, same as upper bounds on their worst-case risks, stem from solutions to explicit convex optimization problems, making the estimates "computation-friendly."

研究の動機と目的

• 線形およびN-凸関数 functional の信号が凸コンパクト集合の和集合に属する場合のミニマックス最適推定ルーチンの開発。
• 従来の近的最適回復手法をガウスノイズにとどまらず、ポアソン分布や離散スキームを含む一般の「良い」観測スキームへと拡張すること。
• アフィン推定量の要件を緩和し、分数線形関数の最大値などN-凸関数 functional の推定を可能とすること。
• 明示的な凸最適化問題として定式化することで、提案された推定量が計算的に取り扱いやすいことを保証すること。
• 最小限の幾何的仮定のもとで、得られる推定量の信頼性および近的最適性に関する理論的保証を確立すること。

提案手法

• 信号集合の構造と観測スキームに基づいて導出された凸最適化問題を通じて推定量を構築し、計算効率を確保する。
• 繰り返しの観測を用いて信頼区間を段階的に狭める、バイセクションに基づく推定手順（バイセクション推定量）を採用する。
• 信頼性と精度のバランスをとるために、制御パラメータ L, δ, κ を用いる。L はバイセクションステップ数を制御し、δ は信頼水準を調整する。
• 本手法は [15] で定義される「良い観測スキーム」に依存しており、ガウス分布、ポアソン分布、離散分布など、モーメント生成関数の有界性を持つスキームを含む。
• N-凸関数 functional の場合、従来のアフィン推定量とは異なる新規な構成を採用し、離散推定の連続的類似物としてのバイナリサーチの原則を応用する。
• 最終的な推定量は最終的な信頼区間の中点であり、区間幅は観測データと制御パラメータによって決定される。

実験結果

リサーチクエスチョン

• RQ1 一般の良い観測スキーム（ガウス分布に限らない）のもとで、N-凸関数 functional の近的最適回復は達成可能か？
• RQ2 線形およびN-凸関数 functional の推定を、ミニマックス最適性と計算効率性の両立させることは可能か？
• RQ3 観測回数とバイセクションに基づく推定量の信頼性・精度の関係は何か？
• RQ4 本手法は、文献に既存のアフィン推定量と比較して、性能およびロバスト性に優れているか？
• RQ5 理論的最適性を維持したまま、非アフィン的・非線形関数 functional へと本手法をどの程度まで拡張可能か？

主な発見

• バイセクション推定量は、任意の ε∈(0,1/2) に対して (1−ε)-信頼性を有し、真の関数 functional 値が出力された信頼区間内にある確率が 1−ε 以上である。
• バイセクション推定量が要請する観測回数は、1/ε、N、I、L に関して対数的に増加するため、大規模な信号集合に対しても効率的である。
• K̄ 回の観測で (ρ̄,ε)-信頼性を達成できる (ρ̄,ε)-信頼性推定量が存在する場合、バイセクション推定量は K 回の観測で (ρ,ε)-信頼性を達成でき、ε→0 のとき K/K̄ ≤ 2 + o(1) を満たす。
• ε が与えられたとき、バイセクション推定量は最適推定量に比べて対数的要因のみ多く観測を要するため、ミニマックス意味で近的最適性が保証される。
• 本手法はガウス分布、ポアソン分布、離散スキームなど広範な観測スキームに適用可能であり、従来の結果の適用範囲を拡大する。
• 混合右側打ち切り下でのハザードレート推定に関する実験的結果から、バイセクション推定量は打ち切り度合い θ と標本サイズ K の変動に対しても安定した性能を示し、K の増加に伴い中央値誤差が減少することが確認された。