[論文レビュー] Global optimization for low-dimensional switching linear regression and bounded-error estimation

Fabien Lauer|arXiv (Cornell University)|Jul 18, 2017

Sparse and Compressive Sensing Techniques参考文献 21被引用数 11

ひとこと要約

本稿では、低次元のスイッチング線形回帰およびバウンデッドエラー推定におけるグローバル最適化のための分枝限定法を提示する。連続的パラメータ最適化を用い、証明可能なグローバル最適性を達成する。大規模データセットにおいても高い精度とスケーラビリティを実現し、数千点の問題を数秒で解ける。凸緩和法やヒューリスティック法を上回り、特にスパースで大きな誤差や高い外れ値率の状況下でも優れた性能を発揮する。

ABSTRACT

The paper provides global optimization algorithms for two particularly difficult nonconvex problems raised by hybrid system identification: switching linear regression and bounded-error estimation. While most works focus on local optimization heuristics without global optimality guarantees or with guarantees valid only under restrictive conditions, the proposed approach always yields a solution with a certificate of global optimality. This approach relies on a branch-and-bound strategy for which we devise lower bounds that can be efficiently computed. In order to obtain scalable algorithms with respect to the number of data, we directly optimize the model parameters in a continuous optimization setting without involving integer variables. Numerical experiments show that the proposed algorithms offer a higher accuracy than convex relaxations with a reasonable computational burden for hybrid system identification. In addition, we discuss how bounded-error estimation is related to robust estimation in the presence of outliers and exact recovery under sparse noise, for which we also obtain promising numerical results.

研究の動機と目的

• スイッチング線形回帰およびバウンデッドエラー推定における既存の局所的またはヒューリスティック手法に、グローバル最適性の保証が欠けている問題に対処する。
• 多数のデータポイントを含む低次元設定におけるハイブリッドシステム同定のためのスケーラブルなグローバル最適化アルゴリズムを開発する。
• 制限的な仮定や整数計画法への再定式化に依存せずに、絶対的なグローバル最適性の証明を提供する。
• 凸緩和法が失敗するような、スパースで大きな誤差や高い外れ値率の状況下でも、ロバストな推定を可能にする。
• NP困難な非凸問題におけるグローバル最適化の実用的な計算効率を達成する。

提案手法

• 二分木探索の枠組みを採用し、二値変数や混合整数計画法への再定式化を避けることで、連続的モデルパラメータを直接最適化する。
• パラメータ空間内の各ボックス（超長方形）内でのコスト関数に対する効率的で計算可能な下界を導出する。
• 分類を一定クラスに固定する基準を用いて、下界を厳しくし、収束を加速する。
• 単純で高速に計算できる下界を用い、コストが大きい領域を素早く除外する。
• 2つの損失関数を最適化する：非凸な $\varepsilon$-依存の $\varepsilon$-ロス（$\ell_{0,\varepsilon}$）と $\varepsilon$-正則化最小二乗損失（$\ell_{2,\varepsilon}$）。
• データサイズに比例してスケーラブルな連続最適化の枠組みを採用する。これに対して、従来の手法はデータ件数の増加に伴い性能が著しく低下する。

実験結果

リサーチクエスチョン

• RQ1 制限的な仮定や混合整数計画法への再定式化に依存せずに、スイッチング線形回帰およびバウンデッドエラー推定におけるグローバル最適化を達成できるか？
• RQ2 大規模データセットを伴う非凸ハイブリッドシステム同定問題において、グローバル最適性をどのように保証できるか？
• RQ3 スパースで大きな誤差や高い外れ値率の状況下で、提案手法が凸緩和法やヒューリスティック法をどの程度上回るか？
• RQ4 低次元かつ大規模データの状況下で、グローバル最適化の計算スケーラビリティはどの程度か？
• RQ5 悪意のある外れ値条件下で、提案されたグローバル最適化手法は $\varepsilon$-ノルムヒューリスティクスと比べてどの程度優れるか？

主な発見

• 提案されたグローバル最適化アルゴリズムは、数千件のデータポイントを含むスイッチング線形回帰問題を数秒で解き、グローバル最適性の証明を達成する。
• バウンデッドエラー推定において $\varepsilon=1.5\sigma_{\xi}$ の場合、$\varepsilon$-ロス最小化は、外れ値率が60％を超えると $\varepsilon$-ノルムヒューリスティクスを上回る近似オラクル精度を達成する。
• $\varepsilon$-ロス手法は、悪意のある正の大きな誤差（例：$|\xi_i|$）に対しても、近似オラクル誤差を維持するが、$\varepsilon$-ノルムヒューリスティクスは外れ値率が50％を超えると失敗する。
• 線形モデルおよびアフィンモデルの両方で、外れ値率が98％まで正確な回復が達成される。一方、$\varepsilon$-ノルムヒューリスティクスでは線形モデルで80％、アフィンモデルで43％にとどまる。
• 計算時間は合理的な範囲に保たれる：外れ値率90％では1秒未塔、98％では10秒未塔、99％（解なし）では2分未塔。
• 他の手法とは異なり、本手法はデータ依存性やノイズフリー条件に依存しない、絶対的なグローバル最適性保証を提供する。