[論文レビュー] Hypothesis testing by convex optimization

Alexander Goldenshluger, A. Juditski+1 more|arXiv (Cornell University)|Nov 26, 2013

Advanced Statistical Process Monitoring参考文献 37被引用数 5

ひとこと要約

本稿では、パラメータ空間内の凸コンパクト集合によって定義される複合仮説のための、凸最適化に基づく枠組みを提案する。この枠組みにより、理論的最小誤差率から著しく近い性能を保証するテストが可能になる。テストを凸最適化問題として定式化することで、計算的に効率的な実装が可能となり、解に依存するリスクバウンドを通じて明示的な性能保証が得られる。この手法は、正規分布、ポアソン分布、離散分布、および積モデルに適用可能である。

ABSTRACT

We discuss a general approach to handling "multiple hypotheses" testing in the case when a particular hypothesis states that the vector of parameters identifying the distribution of observations belongs to a convex compact set associated with the hypothesis. With our approach, this problem reduces to testing the hypotheses pairwise. Our central result is a test for a pair of hypotheses of the outlined type which, under appropriate assumptions, is provably nearly optimal. The test is yielded by a solution to a convex programming problem, so that our construction admits computationally efficient implementation. We further demonstrate that our assumptions are satisfied in several important and interesting applications. Finally, we show how our approach can be applied to a rather general detection problem encompassing several classical statistical settings such as detection of abrupt signal changes, cusp detection and multi-sensor detection.

研究の動機と目的

• パラメータ空間内の凸コンパクト集合によって定義される複合仮説のための、統一的かつ計算的に効率的な仮説検定手法の開発。
• やや緩い正則性条件の下で、得られるテストの近似的最適性を明示的に保証すること。
• タイプIおよびタイプIIエラーのバウンドなどの明示的性能保証を、効率的かつ状況に特化した計算によって実現すること。
• 凸プログラミングを用いたアグリゲーションにより、複数の仮説検定へのフレームワークの拡張。
• 信号検出、キューイングシステム、マルコフ連鎖など、多様な統計モデルへの適用可能性の提示。

提案手法

• コアとなるテストは、パラメータ空間内の凸コンパクト集合によって定義される2つの仮説間の最悪ケースリスクを最小化する凸最適化問題を解くことで構築される。
• テスト統計量は、双対問題の最適解から得られ、最適双対変数と十分統計量の内積に基づく線形意思決定ルールとなる。
• リスクバウンドは、双対ギャップとパラメータ集合のメトリックエントロピーの性質を用いて得られる。
• 複数の仮説の場合、凸プログラミングを用いてペアワイズテストをアグリゲートし、すべての仮説においてリスクを制御できる単一のテストを構築する。
• 標準的な凸ソルバー（例：Mosek、CVX）を用いて実装され、高次元設定でも効率的な計算が可能である。
• 理論的結果は、特にマルコフ連鎖とガウスモデルにおける遷移行列の行列ノルムバウンドを含む、濃縮不等式に基づく。

実験結果

リサーチクエスチョン

• RQ1 凸コンパクト集合によって定義される複合仮説のための、一般的かつ計算的に効率的な仮説検定フレームワークを開発できるか？
• RQ2 このようなフレームワークにおいて、近似的最適性をどのように明示的に保証できるか。また、「ほぼ最適」とは定量的にどの程度の意味か？
• RQ3 このアプローチは、明示的なリスク制御が可能な複数の仮説検定へどの程度まで拡張可能か？
• RQ4 性能保証（例：タイプIおよびタイプIIエラー）は、標本サイズやモデルの複雑さに伴いどのようにスケーリングするか？
• RQ5 信号検出やキューイングシステムなどの実世界の統計的問題において、この手法はどの程度の定量的性能で効果的に適用可能か？

主な発見

• 提案されたテストは、理論的最小誤差率からの逸脱を明示的なリスクバウンドで定量化する、証明可能なほぼ最適性を有する。
• 未知のサーバー数を有するキューイングシステムにおいて、s₁=10、s₂=9、b=5の条件下で、K*=679の観測数でリスクが最大0.01に抑えられ、理論的予測と一致する。
• 同じシステムにおいて、s₁=10、s₂=7、b=5の条件下で、K*=42の観測数でリスクが0.01に抑えられ、モデルの複雑さに応じたスケーラビリティを示す。
• 実験的タイプIエラー率は理論的バウンドとよく一致している：K=K*のとき、H₁下での実験的棄却率は0.0000であり、K=K*/2のときには0.0035であった。これはリスクバウンドの妥当性を検証するものである。
• フレームワークにより、M≥2個の仮説に対する複数のペアワイズテストを凸プログラミングを用いてアグリゲートし、単一のテストに統合でき、性能保証を維持できる。
• この手法は計算的に効率的であり、Mosek や CVX などの凸ソルバーの解に線形代数を適用することで、テスト統計量が計算可能である。