[論文レビュー] Learning Exponential Families in High-Dimensions: Strong Convexity and Sparsity

Sham M. Kakade, Ohad Shamir+2 more|arXiv (Cornell University)|Oct 31, 2009

Sparse and Compressive Sensing TechniquesEngineering参考文献 9被引用数 22

ひとこと要約

本稿は、一般の指数型分布族に対して非漸近的解析を可能にする強い凸性条件を確立する。高次元設定における$L_1$正則化推定に関して、十分統計量のモーメント成長が緩い条件下で、ある定量化的な「バーニングイン」標本サイズに達すると、予測損失が強い凸関数として振る舞うことが示され、予測損失および推定誤差の両方で$O(s \log p / n)$の収束速度が得られる。また、2段階手順により$O(s)$のスパースモデルが得られる。

ABSTRACT

The versatility of exponential families, along with their attendant convexity properties, make them a popular and effective statistical model. A central issue is learning these models in high-dimensions, such as when there is some sparsity pattern of the optimal parameter. This work characterizes a certain strong convexity property of general exponential families, which allow their generalization ability to be quantified. In particular, we show how this property can be used to analyze generic exponential families under L_1 regularization.

研究の動機と目的

• 一般の指数型分布族の高次元設定（$p \gg n$）における強い凸性の性質を特定すること。
• 予測損失が強い凸関数として振る舞うために必要な標本サイズを定量的に特定し、最適化における「バーニングイン」フェーズに類似した挙動を明らかにすること。
• $L_1$正則化解析を線形モデルを超えて一般の指数型分布族に拡張し、予測誤差および推定誤差の収束速度を確立すること。
• 非ゼロ特徴量が$O(s)$個のスパースモデルを生成する2段階手順を開発すること。
• 収束速度を指数型分布族の固有の性質（標準化モーメント、フィッシャー情報量など）に関連付けること。

提案手法

• 十分統計量の標準化モーメントおよび累積量における成長条件を導入し、予測損失における強い凸性の定量的評価を可能にする。
• 十分統計量のサブガウス型濃度バインディングを用いて、経験的期待値が真の値からどれほど逸脱するかを制御する。
• 2段階推定手順を適用：まず$L_1$正則化で推定を行い、次に推定係数が大きい座標集合上で再フィットする。
• 設計行列に対する制限固有値（RE）条件を用いてスパース回復を保証し、フィッシャー情報行列の条件数を制御する。
• フィッシャー情報行列の$\kappa_{\min}^*$および$\kappa_{\max}^*$パラメータを用いて、推定誤差$\|\hat{\theta} - \theta^*\|_{\mathcal{F}^*}^2$および$\ell_1$誤差の非漸近的バインディングを導出する。
• 適切なしきい値処理および正則化のもとで、最終的なスパース推定値$\tilde{\theta}$のサポートサイズが$2s$以下であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 一般の指数型分布族の予測損失が強い凸性を示すためには、次元$p$に対して標本サイズ$n$がどの程度に増加する必要があるか？
• RQ2 $L_1$正則化推定が一般の指数型分布族においても線形回帰と同様に$O(s \log p / n)$の収束速度を達成できるか？
• RQ3 どの程度の十分統計量の条件が、ある標本サイズを超えると経験的対数尤度が強い凸関数として振る舞うことを保証するか？
• RQ4 2段階手順により、非ゼロ特徴量が$O(s)$個のスパースモデルを回復できるか、かつ低い予測リスクを維持できるか？
• RQ5 フィッシャー情報行列の条件数が、一般の指数型分布族における$L_1$正則化推定のスパarsityおよび正確さにどのように影響するか？

主な発見

• 一般の指数型分布族の予測損失は、標準化モーメントおよび累積量の成長率に依存する閾値を超えた標本サイズに達すると、強い凸関数として振る舞うようになる。これは「バーニングイン」フェーズを定量的に特定するものである。
• 十分統計量にサブガウス型条件が成り立つ場合、$L_1$正則化推定器は高確率で予測損失が$O(s \log p / n)$で抑えられることを示す。
• $L_1$誤差は$O(\sigma s / \kappa_{\min}^{*2} \sqrt{\log p / n})$で抑えられ、ここで$\kappa_{\min}^*$はフィッシャー情報行列の最小固有値である。
• 2段階手順により得られる推定値$\tilde{\theta}$は非ゼロ成分が最大$2s$個であり、予測リスクは$O((\kappa_{\max}^*/\kappa_{\min}^*)^2 \cdot s \sigma^2 \log p / n)$で抑えられる。
• 信頼できる推定に必要な標本サイズは$n \geq K \alpha^{*2} \sigma^2 \log(p/\delta) \cdot \max\{ s \kappa_{\max}^{*2} / \kappa_{\min}^{*4}, \alpha^{*2} \|\theta^*\|_1^2 \}$とスケーリングされる。ここで$\alpha^*$は$\theta^*$の解析的標準化モーメントである。
• 最終的なスパース推定値$\tilde{\theta}$は、条件数ペナルティを除けば、最適な$O(s \log p / n)$レートの定数倍以内のリスクバインディングを達成する。