[論文レビュー] Conformal testing in a binary model situation

Vladimir Vovk|arXiv (Cornell University)|Apr 5, 2021

Statistical Methods and Inference参考文献 20被引用数 5

ひとこと要約

本稿では、ベルヌーイ母数に未知のチェンポイントが存在する二値データに対して、補正関数のグリッド上でのスリーパー/チョイサーベッティング戦略を用いて、より効率的な適合検定マルティングルを提案する。標準的な適合マルティングルと比較して、IID帰無仮説に対する証拠が著しく向上し、最終的な値として約7.85×10¹⁹⁴に達する。これは理論的最小尤度比ベンチマークに近づく。

ABSTRACT

Conformal testing is a way of testing the IID assumption based on conformal prediction. The topic of this note is computational evaluation of the performance of conformal testing in a model situation in which IID binary observations generated from a Bernoulli distribution are followed by IID binary observations generated from another Bernoulli distribution, with the parameters of the distributions and changepoint unknown. Existing conformal test martingales can be used for this task and work well in simple cases, but their efficiency can be improved greatly.

研究の動機と目的

• ベルヌーイ母数に未知のチェンポイントが存在する二値モデルにおける適合検定マルティングルの効率性を評価・向上すること。
• 真のデータ生成過程の知識がなくても、理論的最適な最小尤度比に近い性能を示す実用的で最適化されていない適合検定マルティングルの開発。
• 確率的でグリッドベースの適合ベッティング戦略（スリーパー/チョイサー）が、真のデータ生成過程の知識なしに、既存の適合検定マルティングルを上回ることの証明。
• 二値系列におけるIID仮定の下でのオンライン仮説検定に、スケーラブルで計算的に実行可能な手法を提供すること。
• ガウス分布や指数型分布族などの他のパラメトリックモデルへの効率的適合検定の拡張の基盤を築くこと。

提案手法

• 初期資本をグリッド点 $ (a,b) \times \text{G}^2 $ でインデックス付けされたベッティング関数 $ f_{a,b}(p) $ に分配するスリーパー/チョイサーアルゴリズムを用いる。ここで $ a,b \to \frac{1}{G}, \frac{2}{G}, ..., \frac{G-1}{G} $ である。
• 吸収状態 $ (a,b) \times \text{G}^2 $ とスリーピング状態 $ \boxempty $ を持つマルコフ連鎖を用い、確率 $ R $ で資本がアクティブなベッティング口座に再配分される。
• 同一適合測度と確率的ベッティング関数 $ f_{a,b}(p) $ を適用し、一様なp値からの逸脱を好むように区分的定義を行う。
• テストマルティングル $ S_n $ を、スリーピング口座とすべてのアクティブな $ S_{a,b} $ の和として維持し、$ S_{a,b} \to S_{a,b} f_{a,b}(p_n) $ で逐次更新する。
• グリッドサイズ $ G = 100 $ と減衰パラメータ $ R = 0.001 $ を使用し、多様な補正関数の探索を確保するとともに安定性を維持する。
• 結果として得られるマルティングルは、確率的で非負の過程であり、初期値1から出発し、IID帰無仮説の下で期待値が1となるため、有効なテストマルティングルである。

実験結果

リサーチクエスチョン

• RQ1 ベルヌーイ母数に未知のチェンポイントが存在する二値系列において、適合検定マルティングルはどの程度効率的にチェンポイントを検出できるか？
• RQ2 真のデータ生成過程の知識がなくても、最小尤度比の理論的性能限界に近づく適合検定マルティングルを設計できるか？
• RQ3 グリッドベースで確率的なベッティング戦略（スリーパー/チョイサー）を用いることで、IID仮定に対する最終的証拠にどのような影響を与えるか？
• RQ4 単純ジャンパー法や安全e値と比較して、提案手法の適合マルティングルの最終的値はどの程度優れているか？
• RQ5 完全なモデル知識が欠如する状況において、自然で最適化されていない戦略で最適適合マルティングルをどの程度近似できるか？

主な発見

• 提案されたスリーパー/チョイサー適合検定マルティングルは、最終値として約 $ 7.85 \times 10^{194} $ を達成し、単純ジャンパー・マルティングル（最終値 ~$ 10^{10} $）を著しく上回り、理論的最小尤度比に近づく。
• 理論的最小尤度比プロセス（性能ベンチマークとして機能）は、最終値として約 $ 10^{258.93} $ を達成しており、これは提案手法が理論的最適値の約10⁶⁰倍以内に近づいていることを示している。
• 真のモデルにおける尤度比プロセスはチェンポイント後に急激に増加するが、完全なIID帰無仮説の下では有効なテストマルティングルとはならない。
• 提案手法の性能はパrameter選択に対して頑健である：$ R = 0.001 $ と $ G = 100 $ を使用しても、過剰適合を引き起こさずに強い証拠が得られる。
• 提案された適合マルティングルの最終値は、適合e擬似マルティングルの100倍以上に達しており、性能向上の顕著な効果が確認された。
• 新しいマルティングルの対数スケールの軌道は、単純ジャンパーとは対照的に、理論的最適最小尤度比に近づいていることが視覚的に確認され、チェンポイント検出における優れた性能が裏付けられた。