[論文レビュー] Uniform, nonparametric, non-asymptotic confidence sequences

Steven R. Howard, Aaditya Ramdas+2 more|arXiv (Cornell University)|Oct 18, 2018

Random Matrices and Applications被引用数 19

ひとこと要約

本稿では、Cramér-Chernoff法、繰り返し対数法則（LIL）、および逐次尤度比検定（SPRT）の間の新しい関係を用いて、時間とともに幅が収縮する、一様的で非パラメトリックかつ非漸近的な信頼区間系列を導入する。最小限の仮定（サブガウス型およびベルシュタイン条件、自己正規化過程、行列マルティンググ）の下で有限標本のカバレッジ保証を提供し、共分散推定や処置効果の推論への応用を含む。

ABSTRACT

A confidence sequence is a sequence of confidence intervals that is uniformly valid over an unbounded time horizon. In this paper, we develop confidence sequences whose widths go to zero, with non-asymptotic coverage guarantees under nonparametric conditions. Our technique draws a connection between the classical Cram\'er-Chernoff method for exponential concentration bounds, the law of the iterated logarithm (LIL), and the sequential probability ratio test---our confidence sequences extend the first to time-uniform concentration bounds; provide tight, non-asymptotic characterizations of the second; and generalize the third to nonparametric settings, including sub-Gaussian and Bernstein conditions, self-normalized processes, and matrix martingales. We illustrate the generality of our proof techniques by deriving an empirical-Bernstein bound growing at a LIL rate, as well as a novel upper LIL for the maximum eigenvalue of a sum of random matrices. Finally, we apply our methods to covariance matrix estimation and to estimation of sample average treatment effect under the Neyman-Rubin potential outcomes model.

研究の動機と目的

• 無限の時間枠にわたって漸近的近似に依存せずに一様な有効性を保つ信頼区間系列の開発。
• サブガウス型やベルシュタイン型のモーメント制約といった非パラメトリックな条件下で、信頼区間の幅がゼロに収束することを保証。
• 逐次尤度比検定（SPRT）手法を、行列値および自己正規化過程を含む非パラメトリックな設定へ一般化。
• 共分散行列や標本平均処置効果といった統計的汎関数のための、有限標本・非漸近的カバレッジ保証の提供。
• 古典的な集中不等式、繰り返し対数法則、逐次検定を、時間に一様なフレームワークの下で統合。

提案手法

• Cramér-Chernoff法を用いて、固定時刻に限らない時間に一様な指数的集中不等式を導出。
• 繰り返し対数法則（LIL）と逐次的信頼区間系列の間の関係を確立し、LIL型の揺らぎの非漸近的特徴づけを提供。
• 時間に一様なマルティンググフレームワーク内に埋め込むことで、逐次尤度比検定（SPRT）フレームワークを非パラメトリックな設定に適応。
• サブガウス型またはベルシュタイン条件の下で、LILの速度に従って成長する、新しい経験的ベルシュタイン不等式を導出。これにより、逐次的設定におけるよりきめ細やかな適応的信頼区間系列が可能に。
• 未知の分散を扱うための自己正規化技術を適用し、逐次推定におけるロバストネスを向上。
• 行列値マルティンググへとフレームワークを拡張し、確率的行列の和の最大固有値に対する新しい上界を導出。

実験結果

リサーチクエスチョン

• RQ1 サブガウス型やベルシュタイン型の仮定といった最小限のモーメント条件の下で、幅が収縮し、非漸近的カバレッジを有する信頼区間系列を構築可能か？
• RQ2 古典的なCramér-Chernoff法を、時間に一様な集中不等式を生み出すようにどのように拡張できるか？
• RQ3 繰り返し対数法則（LIL）を、有限標本の有効性を持つ非漸近的逐次的フレームワークでどのように特徴づけられるか？
• RQ4 逐次尤度比検定（SPRT）は、どの程度非パラメトリックおよび行列値の設定に一般化可能か？
• RQ5 このフレームワークは、共分散推定や処置効果分析のような高次元または複雑なモデルにおける推論にどのような意味を持つのか？

主な発見

• 提案された信頼区間系列は、サブガウス型およびベルシュタイン条件の下で、無限の時間枠にわたって一様な有効性と非漸近的カバレッジ保証を達成する。
• LILの速度に従って成長する、新しい経験的ベルシュタイン不等式が導出され、逐次的設定におけるよりきめ細やかな適応的信頼区間系列の実現を可能にした。
• 確率的行列の和の最大固有値に対する、新しい上界が確立され、LILが行列マルティンググへと拡張された。
• このフレームワークは、有限標本のカバレッジを有する非パラメトリックな信頼区間系列を共分散行列推定に適用可能にした。
• Neyman-Rubinの潜在的結果モデル下で、未知の分散がある場合でも、標本平均処置効果のための有効な信頼区間系列が提供された。
• 理論的分析により、最小限のモーメント条件の下で信頼区間の幅が時間とともにゼロに収束することが確認され、長期的な精度が保証された。