[论文解读] Minimax Risk Bounds for Piecewise Constant Models

Chao Gao, Fang Han+1 more|arXiv (Cornell University)|May 18, 2017

Statistical Methods and Inference被引用 11

一句话总结

本文確立了估計分段常數與單調序列的最小最大速率，揭示了由於單調性約束導致的維度的迭代對數依賴關係。本文提出了一種懲罰最小二乘估計器，可自適應地處理未知結構，達到最佳速率，且在模型誤設的情況下仍具計算效率。

ABSTRACT

Consider a sequence of real data points $X_1,\ldots, X_n$ with underlying means $ heta^*_1,\dots, heta^*_n$. This paper starts from studying the setting that $ heta^*_i$ is both piecewise constant and monotone as a function of the index $i$. For this, we establish the exact minimax rate of estimating such monotone functions, and thus give a non-trivial answer to an open problem in the shape-constrained analysis literature. The minimax rate involves an interesting iterated logarithmic dependence on the dimension, a phenomenon that is revealed through characterizing the interplay between the isotonic shape constraint and model selection complexity. We then develop a penalized least-squares procedure for estimating the vector $ heta^*=( heta^*_1,\dots, heta^*_n)^T$. This estimator is shown to achieve the derived minimax rate adaptively. For the proposed estimator, we further allow the model to be misspecified and derive oracle inequalities with the optimal rates, and show there exists a computationally efficient algorithm to compute the exact solution.

研究动机与目标

• 為形狀約束估計中的一個開放問題提供解決方案，即確定單調、分段常數函數的確切最小最大速率。
• 理解高維設定下單調性形狀約束與模型選擇複雜性之間的相互作用。
• 開發一種懲罰最小二乘估計器，可自適應地達到最小最大速率，且無需事先知道底層結構。
• 將估計器的理論保證推廣至模型誤設的情形，提供最佳的Oracle不等式。
• 設計一種計算高效的演算法，以計算估計器的精確解。

提出的方法

• 本文分析了在索引上同時為分段常數與單調的序列類別上的最小最大風險。
• 通過描述形狀約束模型類別的複雜性，推導出最小最大速率，揭示了樣本量 n 的迭代對數依賴關係。
• 提出一種懲罰最小二乘估計器，其中懲罰項平衡了擬合程度與分段常數函數中的跳變次數。
• 證明該估計器可自適應地達到推導出的最小最大速率，且無需知道真實的變點數量。
• 在模型誤設情況下推導出Oracle不等式，顯示該估計器維持了最佳收斂速率。
• 構建了一種計算高效的演算法，以計算懲罰估計器的精確解，利用動態規劃或活動集方法。

实验结果

研究问题

• RQ1 對於在索引上同時為分段常數與單調的序列，估計的確切最小最大速率為何？
• RQ2 單調性形狀約束如何影響模型選擇複雜性與最終的最小最大風險？
• RQ3 懲罰最小二乘估計器能否在真實序列的未知配置下自適應地達到最小最大速率？
• RQ4 當模型誤設時，該估計器的理論保證為何？
• RQ5 是否存在一種計算高效的演算法，可用於計算所提出估計器的精確解？

主要发现

• 估計單調、分段常數序列的最小最大速率包含維度的迭代對數因子，反映出形狀約束與模型複雜性之間的複雜相互作用。
• 所提出的懲罰最小二乘估計器可自適應地達到推導出的最小最大速率，且無需事先知道變點數量。
• 在模型誤設情況下，估計器滿足具有最佳速率的Oracle不等式，顯示對模型假設偏差的魯棒性。
• 該估計器的精確解可高效計算，即使形狀約束具有非凸性，亦能實現實際應用。
• 由於額外的單調性約束，最小最大速率嚴格快於標準分段常數情況，該約束降低了有效模型複雜度。