[論文レビュー] Adapting to Unknown Sparsity by controlling the False Discovery Rate

Felix Abramovich, Yoav Benjamini+2 more|ArXiv.org|May 18, 2005

Statistical Methods in Clinical Trials参考文献 30被引用数 8

ひとこと要約

本稿は、幅広いスパarsityクラスにわたる高次元スパース平均推定において、誤発見率（FDR）を制御するデータ適応的しきい値設定手順を提案する。FDR制御とミニマックスリスクの関係を確立することで、FDR水準 $ q_n \to q \in [0, 1/2] $ が最適な性能をもたらすことが示され、一方 $ q > 1/2 $ ではリスクの無限大への膨張が生じる。これにより、多重仮説検定と意思決定理論の間の新しい関係が確立される。

ABSTRACT

We attempt to recover an $n$-dimensional vector observed in white noise, where $n$ is large and the vector is known to be sparse, but the degree of sparsity is unknown. We consider three different ways of defining sparsity of a vector: using the fraction of nonzero terms; imposing power-law decay bounds on the ordered entries; and controlling the $\ell_p$ norm for $p$ small. We obtain a procedure which is asymptotically minimax for $\ell^r$ loss, simultaneously throughout a range of such sparsity classes. The optimal procedure is a data-adaptive thresholding scheme, driven by control of the {\it False Discovery Rate} (FDR). FDR control is a relatively recent innovation in simultaneous testing, ensuring that at most a certain fraction of the rejected null hypotheses will correspond to false rejections. In our treatment, the FDR control parameter $q_n$ also plays a determining role in asymptotic minimaxity. If $q = \lim q_n \in [0,1/2]$ and also $q_n > γ/\log(n)$ we get sharp asymptotic minimaxity, simultaneously, over a wide range of sparse parameter spaces and loss functions. On the other hand, $ q = \lim q_n \in (1/2,1]$, forces the risk to exceed the minimax risk by a factor growing with $q$. To our knowledge, this relation between ideas in simultaneous inference and asymptotic decision theory is new. Our work provides a new perspective on a class of model selection rules which has been introduced recently by several authors. These new rules impose complexity penalization of the form $2 \cdot \log({potential model size} / {actual model size})$. We exhibit a close connection with FDR-controlling procedures under stringent control of the false discovery rate.

研究の動機と目的

• 高次元平均推定における未知のスパarsityクラスの広い範囲にわたって、漸近的ミニマックス性を達成するデータ適応的しきい値手法の開発。
• 多重仮説検定における誤発見率（FDR）制御と意思決定理論におけるミニマックス推定の間の理論的関係の確立。
• FDR制御手順が最適リスクを達成する条件、特に極限FDR水準 $ q = \lim q_n $ との関係を同定すること。
• FDR制御が $ q_n > \gamma / \log n $ かつ $ q \in [0, 1/2] $ である場合、鋭い漸近的ミニマックス性を達成するが、$ q > 1/2 $ ではリスクの膨張が生じることを示すこと。
• 複雑さペナルティに基づく最近のモデル選択ルールをFDR制御の観点から統合的・解釈的に再評価し、それらがFDR制御しきい値設定と等価であることを示すこと。

提案手法

• FDR制御を、しきい値をデータに応じて適応的に選択するメカニズムとして用い、帰無仮説の棄却のうち誤り発見の期待割合が $ q_n $ 以下に抑えられるようにする。
• 各観測ベクトル $ y_i $ の成分を、$ |y_i| \leq t $ であればゼロに設定するしきい値ルールを適用し、$ t $ は推定されたFDRが水準 $ q_n $ で制御されるように選ぶ。
• 棄却仮説数 $ k $ に依存するしきい値関数 $ t(k) $ を用い、$ |y_i| $ の順序統計量から導出することでFDRを制御する。
• 正規分布の尾部積分と経験過程の議論を用いて、誤り発見数と真の発見数の期待値の漸近的近似を適用する。
• パラメータ空間を正の領域、遷移領域、負の領域に分解し、異なるスパarsity状態下でのしきい値ルールの挙動を分析する。
• 集中不等式と指数的尾部バウンド（例：補題7.1）を用いて、誤り発見数の大きな逸脱確率を制御する。

実験結果

リサーチクエスチョン

• RQ1 FDR制御しきい値設定は、高次元平均推定における広範なスパarsityクラスにわたって漸近的ミニマックス性を達成できるか？
• RQ2 FDR水準 $ q_n $ がミニマックスリスクに与える影響は何か？ また、その手順の最適性にどのように寄与するか？
• RQ3 FDR制御は、AIC、BIC、RICといった古典的モデル選択基準（特に複雑さペナルティの観点から）とどのように関係するか？
• RQ4 FDRに基づくしきい値設定がミニマックス性を達成しなくなる条件は何か？ また、リスクの膨張の性質は何か？
• RQ5 多重仮説検定（FDR）とミニマックス推定の間の関係を形式化し、最適かつ計算可能である手順の導出に活用できるか？

主な発見

• FDR制御が $ q_n \to q \in [0, 1/2] $ かつ $ q_n > \gamma / \log n $ である場合、広範なスパarsityクラスにわたって $ \ell^r $ 損失において漸近的ミニマックス性が達成される。
• FDR水準 $ q = \lim q_n \in (1/2, 1] $ の場合、FDR制御手順のリスクはミニマックスリスクを $ q $ に従って増大する要因で上回り、鋭いフェーズ遷移が示される。
• 提案されたFDR制御しきい値ルールは、$ \ell_p $ ノルム、べき則減衰、スパarsity率によって定義される複数のスパarsityクラスにおいて、同時に鋭い漸近的ミニマックス性を達成する。
• 計算効率が良く、一部の理論的ミニマックス手順では実行不可能な場合でも、ウェーブレットノイズ除去や信号回復に実用的である。
• 厳密なFDR制御下では、この手順が複雑さペナルティ $ 2 \log(\text{潜在的モデルサイズ}/\text{実際のモデルサイズ}) $ を持つモデル選択ルールと等価であることが示された。
• 理論的分析により、$ q \in [0, 1/2] $ の場合、FDRしきい値推定量のリスクはミニマックスリスクと定数倍以内に一致し、そのバウンドは鋭いことが確認された。