[論文レビュー] Minimax Risk Bounds for Piecewise Constant Models

Chao Gao, Fang Han+1 more|arXiv (Cornell University)|May 18, 2017

Statistical Methods and Inference被引用数 11

ひとこと要約

本稿は、区分的定数および単調な系列の推定における最小最大レートを厳密に確立し、等高性制約による次元に関する反復対数的依存性を明らかにした。また、未知の構造に適応するペナルティ付き最小二乗推定量を提案し、最適レートに達し、モデル不適合の状況下でも計算的に効率的であることを示した。

ABSTRACT

Consider a sequence of real data points $X_1,\ldots, X_n$ with underlying means $ heta^*_1,\dots, heta^*_n$. This paper starts from studying the setting that $ heta^*_i$ is both piecewise constant and monotone as a function of the index $i$. For this, we establish the exact minimax rate of estimating such monotone functions, and thus give a non-trivial answer to an open problem in the shape-constrained analysis literature. The minimax rate involves an interesting iterated logarithmic dependence on the dimension, a phenomenon that is revealed through characterizing the interplay between the isotonic shape constraint and model selection complexity. We then develop a penalized least-squares procedure for estimating the vector $ heta^*=( heta^*_1,\dots, heta^*_n)^T$. This estimator is shown to achieve the derived minimax rate adaptively. For the proposed estimator, we further allow the model to be misspecified and derive oracle inequalities with the optimal rates, and show there exists a computationally efficient algorithm to compute the exact solution.

研究の動機と目的

• 単調で区分的定数関数の推定における形状制約付き推定の未解決問題を解消し、最小最大レートを厳密に同定すること。
• 高次元設定における等高性形状制約とモデル選択の複雑さの相互作用を理解すること。
• 未知の真の構造を事前に知識とせずに、最小最大レートに適応的に達するペナルティ付き最小二乗推定量を開発すること。
• 推定量の理論的保証をモデル不適合の状況にまで拡張し、最適オラクル不等式を確立すること。
• 推定量の正確な解を計算する計算的に効率的なアルゴリズムを設計すること。

提案手法

• 本稿は、インデックスに関して区分的定数かつ単調である系列のクラスにおける最小最大リスクを分析する。
• 形状制約付きモデルクラスの複雑さを特徴づけることで、サンプルサイズ n に伴う反復対数的依存性を明らかにし、最小最大レートを導出する。
• ペナルティ項がフィットと区分的定数関数内のジャンプ数の両方をバランスさせるペナルティ付き最小二乗推定量を提案する。
• 真の変化点数の知識を必要とせずに、推定量が導出された最小最大レートに適応的に達することを示した。
• モデル不適合下でのオラクル不等式が導出され、推定量が最適収束レートを維持することを示した。
• 動的計画法またはアクティブセット法を活用して、ペナルティ付き推定量の正確な解を計算する計算的に効率的なアルゴリズムを構築した。

実験結果

リサーチクエスチョン

• RQ1 インデックスに関して区分的定数かつ単調な系列の推定における正確な最小最大レートは何か？
• RQ2 等高性形状制約は、モデル選択の複雑さと最小最大リスクにどのように影響を与えるか？
• RQ3 ペナルティ付き最小二乗推定量は、真の系列の未知の構成に適応的に最小最大レートに達することができるか？
• RQ4 モデルが不適合である場合、推定量の理論的保証は何か？
• RQ5 提案された推定量の正確な解を計算する計算的に効率的なアルゴリズムは存在するか？

主な発見

• 単調で区分的定数系列の推定における最小最大レートには、次元に依存する反復対数的要因が含まれており、形状制約とモデル複雑さの複雑な相互作用を反映している。
• 提案されたペナルティ付き最小二乗推定量は、変化点数の知識を必要とせずに、導出された最小最大レートに適応的に達する。
• モデル不適合下でも、推定量は最適レートを満たすオラクル不等式を満たし、仮定モデルからの逸脱に対してロバストであることを示した。
• 形状制約が非凸であるにもかかわらず、推定量の正確な解を効率的に計算可能であり、実用的実装を可能にした。
• 追加の単調性制約のおかげで、有効なモデル複雑さが低減するため、最小最大レートは標準的な区分的定数ケースよりも厳密に速い。