[論文レビュー] Sparse/Robust Estimation and Kalman Smoothing with Nonsmooth Log-Concave Densities: Modeling, Computation, and Theory

Aleksandr Y. Aravkin, James V. Burke+1 more|arXiv (Cornell University)|Jan 19, 2013

Target Tracking and Data Fusion in Sensor Networks参考文献 63被引用数 48

ひとこと要約

本稿は、非滑らかで対数凸な密度関数、特に区分的線形2次（PLQ）ペナルティを用いたスパースかつロバストな推定のための統計的モデリング枠組みを提案する。二次的サポート関数の双対表現を活用することで、最適化に向けた効率的な内点法を可能にし、カルマンスムージングにおいて線形の計算量を達成する。古典的なアルゴリズムをロバストでスパースかつ非ガウス的設定に拡張しつつ、計算効率を維持する。

ABSTRACT

We introduce a class of quadratic support (QS) functions, many of which play a crucial role in a variety of applications, including machine learning, robust statistical inference, sparsity promotion, and Kalman smoothing. Well known examples include the l2, Huber, l1 and Vapnik losses. We build on a dual representation for QS functions using convex analysis, revealing the structure necessary for a QS function to be interpreted as the negative log of a probability density, and providing the foundation for statistical interpretation and analysis of QS loss functions. For a subclass of QS functions called piecewise linear quadratic (PLQ) penalties, we also develop efficient numerical estimation schemes. These components form a flexible statistical modeling framework for a variety of learning applications, together with a toolbox of efficient numerical methods for inference. In particular, for PLQ densities, interior point (IP) methods can be used. IP methods solve nonsmooth optimization problems by working directly with smooth systems of equations characterizing their optimality. The efficiency of the IP approach depends on the structure of particular applications. We consider the class of dynamic inverse problems using Kalman smoothing, where the aim is to reconstruct the state of a dynamical system with known process and measurement models starting from noisy output samples. In the classical case, Gaussian errors are assumed in the process and measurement models. The extended framework allows arbitrary PLQ densities to be used, and the proposed IP approach solves the generalized Kalman smoothing problem while maintaining the linear complexity in the size of the time series, just as in the Gaussian case. This extends the computational efficiency of classic algorithms to a much broader nonsmooth setting, and includes many recently proposed robust and sparse smoothers as special cases.

研究の動機と目的

• 2次的サポート（QS）関数を負の対数密度として解釈する統計的モデリング枠組みを構築し、非滑らかで対数凸な分布を用いた確率的推論を可能にする。
• QS関数が有効な確率密度関数として解釈可能となる条件を確立し、スカラープライムPLQ構成要素から多次元分布を構築可能にする。
• 特に動的逆問題（例：カルマンスムージング）に適した、PLQペナルティ下での効率的な数値最適化アルゴリズムを設計する。
• 古典的カルマンスムージングの計算効率（時系列長に比例する線形時間）を、非滑らかでロバストかつスパースなモデルのクラスにまで拡張する。
• 一般PLQ問題を統合的に扱える計算ツールボックスを提供する。これにはプロトタイピングおよび実装用のコードが含まれる。

提案手法

• 本稿は、QS関数が真の確率分布の負の対数密度として解釈可能となる条件を特徴付けるために、QS関数の双対表現を用いる。
• 滑らかで構造的な双対表現が得られる区分的線形2次（PLQ）ペナルティのクラスに焦点を当てる。
• 最適性を特徴付ける滑らかな方程式系を用いることで、内点（IP）法を非滑らか最適化問題に効果的に適用する。
• 最適性条件を大規模な方程式系（9.10）として定式化し、行変形により上ブロック下三角形形式に簡略化する。
• ブロック対角行列 $T_w$ および $T_v$ の逆行列を計算し、ブロック三重対角行列 $\Omega \Delta x = \varrho$ をブロック三重対角アルゴリズムで効率的に解く。
• 行列 $\Omega$ のブロック構造と $G$、$H$ のスパarsityにより、時系列長 $N$ に対して線形時間 $O(N)$ の計算量を維持する。

実験結果

リサーチクエスチョン

• RQ1 2次的サポート関数は、どのような条件下で真の確率分布の負の対数密度として解釈可能か？
• RQ2 指定された平均と分散を持つ非滑らかで多次元の分布を、スカラープライムPLQ構成要素からどのように構築できるか？
• RQ3 内点法は、PLQペナルティに起因する非滑らか最適化問題に効果的に適用可能か？
• RQ4 提案されたフレームワークは、非ガウス的かつロバストでスパースなモデル下で、カルマンスムージングの時間系列長に比例する線形計算量を維持するか？
• RQ5 PLQ密度を用いた一般化カルマンスムージングの最適性系の構造は何か？ そして、どのように効率的に解けるか？

主な発見

• PLQペナルティの双対表現により、それらが真の確率分布の負の対数密度として解釈可能となり、ロバストでスパースな推定に統計的基盤を提供する。
• 提案された内点法により、PLQ密度を用いた一般化カルマンスムージング問題が $O(N)$ 時間で解かれる。これは古典的ガウス的カルマンスムージングの計算量と一致する。
• 最適性系（9.10）は上ブロック下三角形形式に簡略化され、条件（4.10）を満たすと $T_w$ および $T_v$ は可逆となり、数値的安定性が保証される。
• 最終系における行列 $\Omega$ は対称正定値かつブロック三重対角であり、ブロック三重対角アルゴリズムにより $O(Nn^3)$ 時間で解ける。
• $T_w$ の逆行列計算には $O(Nn^3)$ 時間、$T_v$ の逆行列計算には $O(Nm^3)$ 時間を要するが、残りのバックサブスティチューションは $O(Nl)$ 時間で実行され、全体として線形時間の計算量が保証される。
• 本フレームワークには、一般PLQ問題のプロトタイピングに適したコードベースが含まれており、実用的応用性と効率性を実証している。