[論文レビュー] Primal-Dual Active-Set Methods for Isotonic Regression and Trend Filtering

Zheng Han, Frank E. Curtis|arXiv (Cornell University)|Aug 10, 2015

Control Systems and Identification参考文献 23被引用数 3

ひとこと要約

本稿では、等単調回帰（IR）およびトレンドフィルタリング（TF）のためのプライマルデュアルアクティブセット（PDAS）アルゴリズムを提案する。これは、従来のプール・アベイラブルズ（PAV）法の代替手段として、ウォームスターティング可能で並列化可能な手法である。PDAS法はPAVと同等の$Ø(n)$の作業複雑度と収束性を達成しており、数値実験において優れた性能を示し、オンラインおよび大規模問題の効率的解法を可能にする。

ABSTRACT

Isotonic regression (IR) is a non-parametric calibration method used in supervised learning. For performing large-scale IR, we propose a primal-dual active-set (PDAS) algorithm which, in contrast to the state-of-the-art Pool Adjacent Violators (PAV) algorithm, can be parallized and is easily warm-started thus well-suited in the online settings. We prove that, like the PAV algorithm, our PDAS algorithm for IR is convergent and has a work complexity of O(n), though our numerical experiments suggest that our PDAS algorithm is often faster than PAV. In addition, we propose PDAS variants (with safeguarding to ensure convergence) for solving related trend filtering (TF) problems, providing the results of experiments to illustrate their effectiveness.

研究の動機と目的

• 大規模およびオンライン設定において、ウォームスターティング機能と並列処理のサポートに欠ける従来のPAVアルゴリズムの限界を克服すること。
• PAVが有する理論的保証を維持しながら、ウォームスターティングと並列実行を可能にする、等単調回帰のためのプライマルデュアルアクティブセット（PDAS）法を開発すること。
• 非滑らかな正則化を伴うトレンドフィルタリング問題にPDASフレームワークを拡張し、安全対策を用いて収束を保証すること。
• PAV、内点法、その他のソルバと比較して、スピード、信頼性、拡張性の観点からPDASおよびその変種の実用的優位性を示すこと。

提案手法

• 単調性制約 $\theta_1 \leq \cdots \leq \theta_n$ を伴う凸最適化問題として等単調回帰を定式化：$\frac{1}{2}\sum \omega_i(y_i - \theta_i)^2$ を最小化する。
• アクティブな制約（単調性の違反）を繰り返し特定し、デュアル上昇とプライマル補正を用いて解を更新するプライマルデュアルアクティブセット法を開発する。
• 過激な更新ルールを使用する場合に収束を保証するため、トレンドフィルタリング用PDAS変種にセーフガード戦略を導入する。
• 一階または二階差分の$\ell_1$-ノルム正則化を伴うトレンドフィルタリング問題にPDASフレームワークを適用し、$g(\theta) = \|D\theta\|_1$ または $\|(D\theta)_+\|_1$ を用いる。
• 問題の構造を活用してアクティブセットとデュアル更新の効率的計算を可能にし、ウォームスターティングと並列処理を支援する。
• 動的ブロック分割戦略を用いてアルゴリズムを実装・テストし、単調性を維持するとともに、解とデュアル変数の効率的更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 等単調回帰に適したプライマルデュアルアクティブセット法を設計可能か。その場合、PAVと同等の理論的複雑度を維持しながら、ウォームスターティングと並列処理を可能にするか。
• RQ2 大規模データセットにおいて、提案されたPDASアルゴリズムの収束速度と拡張性は、PAVと比較してどの程度優れているか。
• RQ3 非滑らかな正則化を伴うトレンドフィルタリング問題にPDASを効果的に拡張可能か。収束を保証するためにはどのようなセーフガードが必要か。
• RQ4 第二階差分を用いた場合、提案されたセーフガード戦略は、無制限または慎重なセーフガードを用いた場合と比較して、PDASの信頼性と効率性をどの程度向上させるか。
• RQ5 ウォームスターティングは、逐次的またはオンラインな等単調回帰およびトレンドフィルタリング問題におけるPDASの性能をどの程度向上させるか。

主な発見

• 等単調回帰のためのPDASアルゴリズムは、PAVと同等の$\mathcal{O}(n)$の作業複雑度と収束保証を達成しているが、数値実験では著しく高速である。
• PDASはウォームスターティングが可能であり、PAVが効率的に再起動できないオンラインおよび逐次的設定において、顕著な性能向上を実現している。
• 一階差分を用いたトレンドフィルタリングでは、すべてのPDASバージョン（PDAS、SF1、SF2）が、テストされた全問題サイズ（$n \in \{10^4, 1.7\times10^5, 3.3\times10^5\}$）で100％の成功率を達成した。
• 二階差分を用いた場合、PDASとSF1は100％のインスタンスで発散したが、提案されたセーフガードを用いたSF2は100％の成功率を達成した。
• 実行時間と反復回数の観点から、SF2は第二階差分問題においてPDASおよびSF1を上回った。これは、提案されたセーフガードがより積極的で効果的な更新を可能にしていることを示している。
• SF2のウォームスターティングは、コールドスターティングと比較して反復回数と実行時間を著しく削減した。一方、内点法は良好な初期推定値の恩恵をほとんど受けておらず、動的設定におけるPDASの優位性が浮き彫りになった。