[論文レビュー] Piecewise Convex Function Estimation and Model Selection

Kurt S. Riedel|arXiv (Cornell University)|Mar 11, 2018

Statistical Methods and Inference参考文献 4被引用数 3

ひとこと要約

本稿では、凸性の変化点が少数であると仮定したノイズのあるデータから区分的凸関数を推定する2段階手法を提案する。この手法はパイロット推定量を用いて変曲点を特定し、モデル選択を支援する不確実性区間を構築する。幾何的整合性を保つために、適合した関数が真の凸性構造と一致するように制約を課し、漸近的に最適なスムージングを実現する。

ABSTRACT

Given noisy data, function estimation is considered when the unknown function is known apriori to consist of a small number of regions where the function is either convex or concave. When the regions are known apriori, the estimate is reduced to a finite dimensional convex optimization in the dual space. When the number of regions is unknown, the model selection problem is to determine the number of convexity change points. We use a pilot estimator based on the expected number of false inflection points.

研究の動機と目的

• ノイズのあるデータから、凸性変化点が少数である区分的凸または区分的凹関数を推定すること。
• 事前に未知の状況下で、凸性変化点の数と位置を特定するモデル選択問題に対処すること。
• 適合関数の凸性変化点の数と位置を真の関数と一致させることで、推定における幾何的整合性を保つこと。
• 高い確率で正しい凸性構造を同定するデータ駆動型手法を開発し、モデル誤指定誤差を最小化すること。
• 制約付き回帰枠組み内で一般化交差検証を用いたスムージングパラメータ選択により、漸近的に最適な収束速度を達成すること。

提案手法

• 関数のℓ階および(ℓ+1)階微分を非制約スムージングに基づくパイロット推定量で推定する。
• 漸近正規性を用いて、推定された変曲点の周囲に不確実性区間を構築し、その幅はσ²‖κ⁽ℓ⁾‖²F′(s)/|f^(ℓ+1)(x̂j)|²nh²ℓ+1に比例する。
• 2段階推定を適用する：まずパイロット推定量を用いて候補となる変化点を特定し、次に検出された構造と一致する閉じた凸錐内での制約付き回帰を実行する。
• 重複する区間の偶奇に応じて、f^(ℓ)またはf^(ℓ+1)が各不確実性区間内で非負または非正であるように制約を課す。
• 滑らかさと適合性を強制するため、罰則関数VP[f] = (λ/p)∫|f^(m)|^p ds + ∑ψi(⟨hi,f⟩−yi)を用いる。p=2の場合は最小二乗法に対応する。
• 一般化交差検証（GCV）を用いてスムージングパラメータを選択し、λn = λ_GCVおよびh_n = ι(n)h_GCVとする。ここでι(n) = log²(n)n^(1/(2ℓ+3)−1/(2m+1))である。

実験結果

リサーチクエスチョン

• RQ1 凸性変化点の数と位置が事前に未知である状況下で、少数の凸性変化点を持つ関数をどのように推定できるか？
• RQ2 推定における幾何的整合性を保つために、凸性変化点の数と位置を最適に選択する方法は何か？
• RQ3 モデル選択を統計的に妥当に支援するため、推定された変曲点の周囲に不確実性区間をどのように構築できるか？
• RQ4 制約付き推定量が漸近的に最適な収束速度を達成するための条件は何か？
• RQ5 真の変曲点付近での過剰スムージングを避けると同時に、誤った変曲点を排除するにはどうすればよいか？

主な発見

• 不確実性区間に基づくモデル選択を伴う2段階推定量は、n → ∞ において真の凸性構造を正しく同定する確率が1に収束する。
• 適切なスムージングパラメータスケーリング下で、推定量の漸近的平均二乗誤差はE‖f̂−f‖²_j ∼ α_jλ^(m−j)/m‖f‖_m² + β_jσ²/(nλ^(2k+1)/(2m))を満たす。
• 以前の手法とは異なり、事後的に変曲点数を最小化するのではなく、漸近的に最適なスムージングパラメータを用いることで、過剰スムージングを回避する。
• 収束はコンパクト部分区間[δ,1−δ]上で一様であり、解はC^{2m−ℓ−2}に属し、|f^(ℓ)| > 0である領域ではEuler-Lagrange方程式（2.4）を満たす。
• 条件liminf λ_n^(1/2m)n^(1/(2ℓ+3)) > 0およびlimsup < ∞を満たす場合に誤差バインディングが成立し、ℓ < 2m−5/2を満たす。
• 不確実性区間を用いた制約選択により、誤った変曲点の数が制御され、期待される誤検出数はnが増加するにつれて消滅する。