[論文レビュー] Contraction and uniform convergence of isotonic regression

Fan Yang, Rina Foygel Barber|arXiv (Cornell University)|Jun 6, 2017

Control Systems and Identification参考文献 13被引用数 7

ひとこと要約

この論文は、等高線回帰の射影作用素が収縮的であることを保証するノルムの必要十分条件を確立し、局所的信号挙動に適応する非漸近的で一様な信頼区間を可能にする、画期的な「スライディングウインドウノルム」を導入する。主な貢献は、信号の局所的リプシッツ性に適応する一般化された等高線回帰収束解析の枠組みを提供することであり、その結果、局所的に適応的でかつ全系列にわたって一様に有効な有限標本誤差バウンドが得られる。

ABSTRACT

We consider the problem of isotonic regression, where the underlying signal $x$ is assumed to satisfy a monotonicity constraint, that is, $x$ lies in the cone $\{ x\in\mathbb{R}^n : x_1 \leq \dots \leq x_n\}$. We study the isotonic projection operator (projection to this cone), and find a necessary and sufficient condition characterizing all norms with respect to which this projection is contractive. This enables a simple and non-asymptotic analysis of the convergence properties of isotonic regression, yielding uniform confidence bands that adapt to the local Lipschitz properties of the signal.

研究の動機と目的

• 等高線射影作用素が収縮的であるノルムのすべてのクラスを同定すること。
• 局所的信号特性に適応する等高線回帰収束の非漸近的解析を開発すること。
• 信号のリプシッツ挙動に局所的に適応する一様な信頼区間を構築すること。
• 等高線回帰を超える形状制限付き回帰問題に一般化可能な枠組みを提供すること。

提案手法

• 連続する信号ベクトルの区間における平均を測る重み付き ℓ1 型ノルムとして「スライディングウインドウノルム」を導入する。
• ノルムが等高線射影作用素の収縮性を保証するための必要十分条件（NUNA特性）を確立する。
• 収縮性を用いて、点ごとの推定誤差 |xi − iso(y)i| に対する有限標本バウンドを導出する。
• 収縮性フレームワークを応用し、局所的信号滑らかさを反映する一様でデータ適応型の信頼区間を導出する。
• プール・アベイラブルズ・アルゴリズム（PAVA）を用いて等高線射影を分析し、単調性コーンへの凸射影として扱う。
• 等高線射影が、ノルムがNUNA（非一様に非拡大）特性を満たす場合にかつその場合に限り収縮的であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 どのクラスのノルムが等高線射影作用素が収縮的であることを保証するか？
• RQ2 等高線回帰の収縮性特性をどのように活用して、非漸近的で一様な信頼区間を導出できるか？
• RQ3 等高線回帰の収束挙動を、局所的リプシッツ定数のような局所的信号特性に適応させることは可能か？
• RQ4 スライディングウインドウノルムは、推定誤差バウンドの局所的適応性をどのように可能にするか？
• RQ5 等高線射影が収縮的でない条件は何か、そしてその特徴はどのように特定できるか？

主な発見

• 等高線射影作用素がノルムに関して収縮的であることは、ノルムがNUNA（非一様に非拡大）特性を満たす場合にかつその場合に限り成り立つ。
• スライディングウインドウノルムは収縮性を保証するように構築されており、局所的信号挙動に適応する非漸近的で一様な信頼区間を可能にする。
• 点推定誤差 |xi − iso(y)i| に対する有限標本バウンドが導出され、信号の局所的リプシッツ特性に局所的に適応することが示された。
• 収縮性フレームワークにより、すべてのインデックス i ∈ {1, ..., n} に対して同時に成り立つ一様誤差バウンドが得られる。漸近的近似を必要としない。
• 結果は非漸近的であり、一般のノイズモデル（サブガウス型およびi.i.d.ガウス型ノイズを含む）に適用可能である。
• 本手法は等高線回帰を超えて一般化可能であり、他の形状制限付き推定問題の解析の基盤を提供する。