[論文レビュー] Nonparametric, Nonasymptotic Confidence Bands with Paley-Wiener Kernels for Band-Limited Functions

Balázs Csanád Csáji, Bálint Horváth|arXiv (Cornell University)|Jun 27, 2022

Control Systems and Identification参考文献 19被引用数 6

ひとこと要約

本稿では、Paley-Wienerカーネルを用いて、有界で帯域制限された関数の同時信頼帯を非パラメトリックかつ非漸近的に構築する手法を提案する。再生核ヒルベルト空間理論と凸最適化を活用し、有限のi.i.d.標本から分布フリーな信頼帯を導出し、わずかなノイズ仮定のもとで理論的保証が得られ、ノイズなしおよびノイズありの設定において数値的にも検証されている。

ABSTRACT

The paper introduces a method to construct confidence bands for bounded, band-limited functions based on a finite sample of input-output pairs. The approach is distribution-free w.r.t. the observation noises and only the knowledge of the input distribution is assumed. It is nonparametric, that is, it does not require a parametric model of the regression function and the regions have non-asymptotic guarantees. The algorithm is based on the theory of Paley-Wiener reproducing kernel Hilbert spaces. The paper first studies the fully observable variant, when there are no noises on the observations and only the inputs are random; then it generalizes the ideas to the noisy case using gradient-perturbation methods. Finally, numerical experiments demonstrating both cases are presented.

研究の動機と目的

• パラメトリックモデルを仮定せずに、回帰関数の信頼帯を非パラメトリックかつ非漸近的に構築する手法を開発すること。
• 観測ノイズの分布に依存しない性能を保証し、ゼロを中心とする対称性のみを要件とすること。
• 漸近的近似ではなく、有限標本サイズに対して有効な理論的信頼保証を提供すること。
• 勾配摂動および区間最適化技術を用いて、ノイズなし設定からノイズあり設定への手法の拡張を図ること。
• ノイズなしおよびラプラスノイズが混入したデータに対する数値実験を通じて、手法の実現可能性と精度を示すこと。

提案手法

• 本手法は、周波数スペクトルが[−η, η]に制限される帯域制限関数をモデル化するPaley-Wiener再構成核ヒルベルト空間（RKHS）に基づく。
• z ≠ s の場合、k(z, s) = sin(η(z−s))/(π(z−s)) とし、k(z,z) = η/π と定義することでRKHS構造を定義する。
• ノイズなしの観測では、d個の入力点における関数値の区間推定を用いて、関数ノルムの上限を求める凸最適化問題を解くことで信頼帯を構築する。
• ノイズありの状況では、関数値を信頼区間内の意思決定変数とみなしつつ、最小値と最大値の両方を求める最適化問題を解くことで帯の端点を計算する。
• Lemma 1からのノルム上限と、和集合の不等式（Booleの不等式）を組み合わせ、RKHSノルムに対する非漸近的上界τを導出する。
• 最終的なクエリ点x₀における信頼区間は、拡張されたグラム行列とノルム上限τを含む凸二次計画問題を解くことで計算される。

実験結果

リサーチクエスチョン

• RQ1 有限標本サイズに対して非漸近的保証が得られる非パラメトリックな信頼帯を、帯域制限関数に対して構築可能か？
• RQ2 ガウス分布を仮定せず、未知の対称的ノイズ分布のもとで、分布フリーな信頼帯をどのように達成できるか？
• RQ3 Paley-Wienerカーネルは、理論的信頼境界を備えた非パラメトリックで帯域制限された関数推定をどのように可能にするか？
• RQ4 ノイズなし設定からノイズあり設定への信頼帯の拡張は、有限標本の有効性を保ちながらどのように実現できるか？
• RQ5 限られたデータのもとで、本手法の実用的性能（帯の狭さとカバレッジ）はいかがなものか？

主な発見

• 真の関数が構築された帯内にある確率は、事前に指定されたリスクレベルαとβに対して、少なくとも1 − α − β以上である。
• n = 10のノイズなし状況では、小さな標本サイズでも有用な信頼帯が得られ、図1に示されている。
• n = 100、d = 20のノイズあり状況では、α + β = 0.1および0.5の条件下でも信頼性の高いカバレッジを維持した。図2に図示されている。
• 尺度b = 0.4のラプラス分布ノイズに対しても信頼帯は頑健であったため、重尾ノイズモデルへの適用可能性が示された。
• アルゴリズムは計算的に効率的であり、凸最適化に依存しており、標準的な二次計画法ソルバで実装可能である。
• ノルム推定に用いるd（点の数）の選択が区間の狭さに顕著に影響を与え、d = O(√n)が実用的なヒューリスティックである。