[論文レビュー] Fast, Provable Algorithms for Isotonic Regression in all $\ell_{p}$-norms

Rasmus Kyng, Anup Rao+1 more|arXiv (Cornell University)|Jul 2, 2015

Sparse and Compressive Sensing Techniques参考文献 26被引用数 7

ひとこと要約

本稿では、有向非巡回グラフ（DAG）上におけるすべての重み付き ℓp-ノルム（p ∈ [1, ∞)）および ℓ∞-ノルムにおける、高速で正当性が保証された等単調回帰のアルゴリズムを提示する。時間計算量の改善—ℓp-ノルムでは O(m^{1.5} log²n log(n/δ))、ℓ∞-ノルムでは期待時間 O(m) —を達成する統一的最適化フレームワークを導入し、従来の手法を上回りながら収束保証を確保する。

ABSTRACT

Given a directed acyclic graph $G,$ and a set of values $y$ on the vertices, the Isotonic Regression of $y$ is a vector $x$ that respects the partial order described by $G,$ and minimizes $||x-y||,$ for a specified norm. This paper gives improved algorithms for computing the Isotonic Regression for all weighted $\ell_{p}$-norms with rigorous performance guarantees. Our algorithms are quite practical, and their variants can be implemented to run fast in practice.

研究の動機と目的

• 有向非巡回グラフ（DAG）上におけるすべての重み付き ℓp-ノルム（p ∈ [1, ∞)）における、効率的で正当性が保証された等単調回帰アルゴリズムの開発。
• 従来、O(m log n) の時間計算量しか得られなかった ℓ∞-ノルム等単調回帰に対する高速で理論的裏付けのあるアルゴリズムの欠如を是正すること。
• p → ∞ の極限として定義される厳密な等単調回帰（strict isotonic regression）のための、最先端の性能向上。
• 勾配に基づくフレームワークを導入し、等単調回帰の既存手法を統一的かつ一般化することにより、勾配勾配の最急降下パスと勾配更新の効率的計算を可能にすること。
• 頂点の圧力とパス最適化に基づく新規なアルゴリズムパイプラインを通じて、厳密な性能保証と実用的効率性を両立すること。

提案手法

• 頂点がその先祖および子孫に与える影響をモデル化するための圧力ベースのフレームワークを導入し、『圧力』をパスに沿った最大変化率として定義する。
• CompHighPressGraph を用いた再帰的分解戦略により、高圧力頂点が支配する部分グラフにグラフを縮小し、収束を保証する。
• 勾配の大きさに基づいて再帰的に探索空間を精錬するランダム化された最急降下パス選択（SteepestPath）を採用する。
• 中心頂点を通る最急降下パスを計算するスターベースのパス探索サブルーチン（StarSteepestPath）を適用し、値の差分と距離の最大最小比を用いる。
• 与えられた頂点を通る最急降下パスを計算する VertexSteepestPath を実装し、到達可能性の解析と端点への最適パスの計算を実施する。
• 逐次的に最急降下パスに沿ってラベルを固定する lex-ミニマライザー アルゴリズム（CompLexMin）を実装し、勾配がゼロの領域では AssignWithZeroGradient を用いて値を伝搬する。

実験結果

リサーチクエスチョン

• RQ1 すべての ℓp-ノルム（p ∈ [1, ∞)）における等単調回帰を、正当性保証付きで効率的に計算できる統一的フレームワークを設計できるか？
• RQ2 ℓ∞-ノルム等単調回帰の最適時間計算量は何か？ そして、線形時間で達成可能か？
• RQ3 p → ∞ の極限としての厳密な等単調回帰（strict isotonic regression）を、従来の手法よりも効率的に計算できるか？
• RQ4 ランダム化されたパス選択と圧力ベースのグラフ縮小は、等単調回帰アルゴリズムの収束性と実行時間の向上に寄与できるか？
• RQ5 ℓp-回帰において、時間計算量が二次未満の範囲で ϵ-最適解への収束を保証する理論的基盤は何か？

主な発見

• ℓp-ノルム等単調回帰のアルゴリズムは、O(m^{1.5} log²n log(n/δ)) の時間で実行され、最適 ℓp 目的値から δ 以内の解を計算する。
• ℓ∞-ノルム等単調回帰のアルゴリズムは、期待時間 O(m) で実行され、最小の可能 ℓ∞-ノルム誤差を計算し、理論的下界と一致する。
• 厳密な等単調回帰問題は、期待時間 O(mn) で解け、従来の O(min(mn, n^ω) + n² log n) の時間計算量を改善する。
• ℓ∞-ノルムアルゴリズムは、Min、Max、Avg の3つの標準的バージョン（3つの標準的バージョン）を線形時間で計算でき、最適計算量に関する未解決の問いを解消した。
• 圧力ベースのフレームワークにより、効率的なパスの縮小と勾配に基づく精錬が可能となり、収束速度の向上と理論的境界の改善が達成された。
• SteepestPath と CompLexMin を含むアルゴリズムパイプラインにより、lex-ミニマライザーへの収束が保証され、すべての検討されたノルムにおいて正しさが保証される。