[論文レビュー] Selective sampling after solving a convex problem

Xiaoying Tian Harris, Snigdha Panigrahi+3 more|arXiv (Cornell University)|Sep 19, 2016

Statistical Methods and Inference参考文献 16被引用数 21

ひとこと要約

本稿は、凸統計的学習問題を解いた後の選択的推論のための統一的枠組みを提案する。測度の変更の公式とヤコビアンの幾何的解析を用いて、条件付き分布からの有効なサンプリングを可能にする。対数凸なターゲットに対しては、投影ランジュバンサンプラーを導入し、グループLASSOなどの非多面体ペナルティに対して明示的なヤコビアン計算を実施することで、選択的推論手法のパワーと適用範囲を著しく向上させる。

ABSTRACT

We consider the problem of selective inference after solving a (randomized) convex statistical learning program in the form of a penalized or constrained loss function. Our first main result is a change-of-measure formula that describes many conditional sampling problems of interest in selective inference. Our approach is model-agnostic in the sense that users may provide their own statistical model for inference, we simply provide the modification of each distribution in the model after the selection. Our second main result describes the geometric structure in the Jacobian appearing in the change of measure, drawing connections to curvature measures appearing in Weyl-Steiner volume-of-tubes formulae. This Jacobian is necessary for problems in which the convex penalty is not polyhedral, with the prototypical example being group LASSO or the nuclear norm. We derive explicit formulae for the Jacobian of the group LASSO. To illustrate the generality of our method, we consider many examples throughout, varying both the penalty or constraint in the statistical learning problem as well as the loss function, also considering selective inference after solving multiple statistical learning programs. Penalties considered include LASSO, forward stepwise, stagewise algorithms, marginal screening and generalized LASSO. Loss functions considered include squared-error, logistic, and log-det for covariance matrix estimation. Having described the appropriate distribution we wish to sample from through our first two results, we outline a framework for sampling using a projected Langevin sampler in the (commonly occuring) case that the distribution is log-concave.

研究の動機と目的

• 凸統計的学習問題を解いた後の選択バイアスを補正するモデルに依存しない選択的推論手法の開発。
• 凸最適化における選択事象を条件とするパラメータの条件付き分布を特徴付ける一般化された測度の変更の公式の導出。
• 特にグループLASSO や核ノルムなどの非多面体ペナルティに対して、測度の変更公式におけるヤコビアンの幾何的構造の分析。
• ターゲット分布が対数凸である場合に限り、選択的分布からの実用的サンプリングを可能にする、投影ランジュバンサンプラーの導入。
• フォワードステップワイズ、マージナルスクリーニング、多様な損失関数を有する一般化LASSOを含む、複雑で高次元なモデルへの選択的推論の適用範囲の拡張。

提案手法

• 選択事象を条件とするように元のモデル分布を再重み付けする測度の変更の公式を導出。これにより、凸最適化後の正確な推論が可能になる。
• 測度の変更公式における変換のヤコビアンを、幾何的および曲率に基づく議論を用いて特徴づけ、Weyl-Steinerのチューブ体積理論と関連付ける。
• グループLASSOの場合のヤコビアンに対して明示的な公式を提供。これには、活性化されたグループ構造とペナルティパラメータを含む行列のトレースが含まれる。
• 選択事象の制約を尊重する投影ランジュバンサンプラーを構築。更新ステップには、符号変数およびグループ変数に対する象限および球体への投影が含まれる。
• ネイジスパrameterの十分統計量を条件付きにすることで、条件付き分布が対数凸のままであり、MCMCに適した形を保つようにする。
• Tian & Taylor (2015) が提唱したランダマイゼーションを、サンプリング枠組みに統合することで、パワーの向上と選択下での有効な推論を確保する。

実験結果

リサーチクエスチョン

• RQ1 凸最適化手順の結果を条件とするモデルパラメータの条件付き分布を、形式的にどのように特徴付けることができるか？
• RQ2 グループLASSO や核ノルム正則化のような非多面体ペナルティの場合、測度の変更公式におけるヤコビアンの役割は何か？
• RQ3 閉形式が存在しない場合に、得られた条件付き分布からの効率的サンプリングはどのように実現できるか？
• RQ4 非多面体制約に対する選択的推論の文脈において、ヤコビアンの幾何的および曲率的解釈は何か？
• RQ5 ターゲット分布が対数凸である場合に、投影ランジュバンサンプラーは選択的分布からのサンプリングに有効に使用できるか？また、グループおよび非凸ペナルティに起因する複雑な制約をどのように処理するか？

主な発見

• 本稿では、モデルやペナルティに依存せず、任意の凸統計的学習問題を解いた後の正確な選択的推論を可能にする一般化された測度の変更の公式を導出する。
• 非多面体ペナルティ（例：グループLASSO）に対しては、活性化されたグループ構造とペナルティパラメータを含む行列の微分を用いて、変換のヤコビアンを明示的に計算する。
• ヤコビアンの幾何的構造は、Weyl-Steinerのチューブ体積公式における曲率測度と関連づけられ、変換の理論的基盤を提供する。
• ターゲット分布が対数凸である場合に、投影ランジュバンサンプラーは条件付き分布からのサンプリングに有効であることが示され、緩い条件下でも収束保証が得られる。
• LASSO、フォワードステップワイズ、マージナルスクリーニング、一般化LASSOなど多様な設定で実証され、各々に対して明示的なサンプリングアルゴリズムが提供されている。
• この枠組みは、データ分割に依存せず、ランダマイゼーションされた選択手順をサポートしており、選択的推論におけるパワーと妥当性を向上させる。