[論文レビュー] Approximate Newton-based statistical inference using only stochastic gradients

Tianyang Li, Anastasios Kyrillidis+2 more|arXiv (Cornell University)|May 23, 2018

Adversarial Robustness in Machine Learning参考文献 53被引用数 4

ひとこと要約

本論文は、有限差分を用いてヘッセ行列とベクトルの積を近似するのみで、正確なヘッセ行列を必要とせず、リサンプリングを伴わず、信頼区間やp値を効率的かつ一貫して計算できる、大規模M推定量および高次元回帰のための新しい統計的推論フレームワークを提案する。この手法は、i.i.d.でない時系列データやニューラルネットワークにおける悪意ある攻撃検出に対しても拡張可能である。

ABSTRACT

We present a novel statistical inference framework for convex empirical risk minimization, using approximate stochastic Newton steps. The proposed algorithm is based on the notion of finite differences and allows the approximation of a Hessian-vector product from first-order information. In theory, our method efficiently computes the statistical error covariance in $M$-estimation, both for unregularized convex learning problems and high-dimensional LASSO regression, without using exact second order information, or resampling the entire data set. We also present a stochastic gradient sampling scheme for statistical inference in non-i.i.d. time series analysis, where we sample contiguous blocks of indices. In practice, we demonstrate the effectiveness of our framework on large-scale machine learning problems, that go even beyond convexity: as a highlight, our work can be used to detect certain adversarial attacks on neural networks.

研究の動機と目的

• 大規模M推定量および高次元回帰における正確なヘッセ行列計算の計算不能性に対処する。
• 一次情報と有限差分のみを用いて、統計的誤差共分散および信頼区間を計算する手法を開発する。
• 連続ブロックのサンプリングにより、i.i.d.でない時系列データにおいて、一貫的かつ効率的かつリサンプリングを伴わない統計的推論を実現する。
• 凸性を超えた枠組みを拡張し、ニューラルネットワークにおける悪意ある攻撃を検出可能にする。
• ブートストラップや既存のデバイアス化手法に対する、証明可能に一貫的かつ計算効率の良い代替手法を提供する。

提案手法

• 有限差分を用いてヘッセ行列とベクトルの積を近似する：∇²f(θ)v ≈ [∇f(θ+δv)−∇f(θ)]/δ、勾配は確率的勾配に限定する。
• この近似をM推定量のための確率的ニュートン型アルゴリズムに統合し、完全なヘッセ行列の保存・計算を回避する。
• i.i.d.でない時系列データに対しては、連続するインデックスブロックをサンプリングするブロックサンプリング方式を採用し、時間的依存性を保持する。
• 正則化なしのM推定量および高次元LASSOのためのプロキシマルニュートンステップにこの手法を適用し、高い確率で強い凸性を保証する。
• 統計的誤差共分散として、Ĥ⁻¹ĜĤ⁻¹のプラグイン推定量を用い、近似ニュートンステップにより計算する。
• このフレームワークをニューラルネットワーク解析に統合し、損失関数の曲率パターンの異常を特定することで、悪意ある入力の検出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 正確なヘッセ行列やリサンプリングを必要とせず、大規模M推定量において統計的推論を効率的に行うことは可能か？
• RQ2 確率的勾配の有限差分が、高次元設定における統計的推論のためのヘッセ行列とベクトルの積を信頼性高く近似できるか？
• RQ3 i.i.d.サンプリングや完全な共分散推定を仮定しない状況で、統計的推論をi.i.d.でない時系列データにどのように適応できるか？
• RQ4 提案されたフレームワークは、損失関数の曲率解析を用いて、深層ニューラルネットワークにおける悪意ある攻撃を検出できるか？
• RQ5 提案手法は、既存の手法と比較して収束性が向上する高次元LASSOにおいて、信頼区間およびp値の一致した推定を達成できるか？

主な発見

• 正則化なしのM推定量では、1000次元のスパース問題において、平均信頼区間長が0.14、カバレッジが0.83の範囲で統計的誤差共分散の一致した推定が達成された。
• 高次元LASSO回帰では、強い凸性を有する最適化問題が得られ、最良の既存手法と比較して、線形収束性と推定誤差のより良い制御が可能となった。
• i.i.d.でない時系列では、ブロックサンプリング手法により95%信頼区間のカバレッジが0.929、平均長が0.145となり、理論的予測が妥当であることが裏付けられた。
• 損失関数の曲率パターンの異常を特定することで、ニューラルネットワークにおける悪意ある攻撃が効果的に検出された。
• HIV薬物耐性データセットでは、5%の家族-wise 偽陽性誤差率で、既知の耐性変異が検出され、生物学的妥当性が確認された。
• リボフラビン産生データセットでは、先行研究と一致して、FWER=0.05の条件下で有意な遺伝子を同定できず、より慎重な推定が得られた。