[論文レビュー] PANDA: AdaPtive Noisy Data Augmentation for Regularization of Undirected Graphical Models

Yinan Li, Xiao Liu+1 more|arXiv (Cornell University)|Oct 11, 2018

Statistical Methods and Inference参考文献 55被引用数 5

ひとこと要約

この論文は、反復的にノイズ拡張された目的関数を最適化することで、無向グラフィカルモデルを正則化する新しい適応的ノイズありデータ拡張手法PANDAを紹介する。PANDAは、lasso、リッジ、エラスティックネット、グループlassoなどのさまざまな正則化効果を達成するとともに、導出された標本分布を用いて正則化パラメータに対する有効な漸近的推論を可能にする。

ABSTRACT

We propose an AdaPtive Noise Augmentation (PANDA) technique to regularize the estimation and construction of undirected graphical models. PANDA iteratively optimizes the objective function given the noise augmented data until convergence to achieve regularization on model parameters. The augmented noises can be designed to achieve various regularization effects on graph estimation, such as the bridge (including lasso and ridge), elastic net, adaptive lasso, and SCAD penalization; it also realizes the group lasso and fused ridge. We examine the tail bound of the noise-augmented loss function and establish that the noise-augmented loss function and its minimizer converge almost surely to the expected penalized loss function and its minimizer, respectively. We derive the asymptotic distributions for the regularized parameters through PANDA in generalized linear models, based on which, inferences for the parameters can be obtained simultaneously with variable selection. We show the non-inferior performance of PANDA in constructing graphs of different types in simulation studies and apply PANDA to an autism spectrum disorder data to construct a mixed-node graph. We also show that the inferences based on the asymptotic distribution of regularized parameter estimates via PANDA achieve nominal or near-nominal coverage and are far more efficient, compared to some existing post-selection procedures. Computationally, PANDA can be easily programmed in software that implements (GLMs) without resorting to complicated optimization techniques.

研究の動機と目的

• 無向グラフィカルモデル（UGMs）のための正則化手法を開発し、変数選択と有効な統計的推論の両方を可能にすること。
• 高次元UGMsにおけるモデル不確実性のため従来の手法が失敗する「選択後推論」の課題に対処すること。
• 反復最適化中にパラメータ推定値に適応的に調整されるノイズ拡張スキームを設計し、複数の正則化効果を達成すること。
• 正則化パラメータ推定値の収束性と漸近正規性に関する理論的保証を確立すること。
• 一般化線形モデル（GLMs）における複雑な最適化ルーチンの代わりに、計算が単純な代替手法を提供すること。

提案手法

• PANDAは、各反復においてパラメータに適応的にノイズを追加することで、ノイズ拡張された損失関数を反復的に最適化する。
• ノイズ分布は、現在のパラメータ推定値に基づいてノイズの分散を調整することにより、ブリッジ、エラスティックネット、アダプティブlasso、SCADなどの特定の正則化ペナルティを誘導するように設計されている。
• ノイズ注入とペナルティ付き尤度推定との等価性を活用し、ノイズの分散を現在のパラメータの大きさの逆数に比例させる。
• 損失関数の2次テイラー展開とスルツキーの定理を用いて、正則化パラメータ推定値の漸近正規性を導出する。
• 拡張されたフィッシャー情報行列を用いて標準誤差を推定し、有効な信頼区間と仮説検定を可能にする。
• 有限反復の場合、反復内および反復間の分散成分を組み合わせることで、複数の推定値のばらつきを考慮する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張におけるノイズ注入を、無向グラフィカルモデルにおけるさまざまな正則化ペナルティを誘導するように体系的かつ設計可能か？
• RQ2 ノイズ拡張された目的関数の反復的最適化は、ペナルティ付き尤度推定器と同等の解に収束するか？
• RQ3 変数選択後にあっても、ノイズ拡張による正則化パラメータ推定値に対する有効な漸近的推論が導けるか？
• RQ4 PANDAは、既存の選択後推論手順と比較して、カバレッジと効率性の面でどのように異なるか？
• RQ5 PANDAは、特別な最適化アルゴリズムやカスタムソルバーを必要とせず、標準的なGLMソフトウェアで効率的に実装可能か？

主な発見

• PANDAのノイズ拡張損失関数およびその最小化子は、やや厳しい正則性条件のもとで、期待されるペナルティ付き損失関数およびその最小化子にほとんど確実に収束する。
• PANDAによる正則化パラメータ推定値の漸近分布が導出され、真のモデル下での理論的標本分布と整合的であることが示された。
• PANDAに基づく推論は、名目水準またはほぼ名目水準の信頼区間カバレッジを達成しており、既存の選択後手順と比較して著しく効率的である。
• シミュレーションスタディでは、PANDAがスパース、スケールフリー、スモールワールドなどのさまざまなグラフタイプにおいて、エッジ回復および構造推定の面で非劣性であることが示された。
• PANDAは自閉症スペクトラム障害（ASD）データから、連続変数とバイナリ変数を併せ持つ混合ノードグラフを適切に構築でき、適切な正則化を実現した。
• この手法は計算が効率的であり、複雑な最適化ルーチンやカスタムソルバーを必要とせず、標準的なGLMソフトウェアで実装可能である。