[논문 리뷰] Admissible anytime-valid sequential inference must rely on nonnegative martingales

Aaditya Ramdas, Johannes Ruf외 2명|arXiv (Cornell University)|2020. 09. 07.

Statistical Methods and Inference참고 문헌 20인용 수 30

한 줄 요약

본 논문은 admissible 구성들이 confidence sequences, p-processes, e-processes, 및 anytime-valid 순차 추론의 순차적 테스트에서 비음수 마팅게일에 의존해야 함을 보이며, 합성 설정을 위한 max-martingales 및 Snell envelopes의 확장을 포함한다.

ABSTRACT

Confidence sequences, anytime p-values (called p-processes in this paper), and e-processes all enable sequential inference for composite and nonparametric classes of distributions at arbitrary stopping times. Examining the literature, one finds that at the heart of all these (quite different) approaches has been the identification of nonnegative (super)martingales. Thus, informally, nonnegative (super)martingales are known to be sufficient for \emph{anytime-valid} sequential inference, even in composite and nonparametric settings. Our central contribution is to show that nonnegative martingales are also universal -- after appropriately defining \emph{admissibility}, we show that all admissible constructions of confidence sequences, p-processes, or e-processes must necessarily utilize nonnegative martingales. Our proofs utilize several modern mathematical tools for composite testing and estimation problems: max-martingales, Snell envelopes, transfinite induction, and new Doob-Lévy martingales make appearances in previously unencountered ways. Informally, if one wishes to perform anytime-valid sequential inference, then any existing approach can be recovered or dominated using nonnegative martingales. We provide several nontrivial examples, with special focus on testing symmetry, where our new constructions render past methods inadmissible. We also prove the subGaussian supermartingale to be admissible.

연구 동기 및 목표

• anytime-valid 순차 추론 도구들(p-processes, confidence sequences, e-processes, sequential tests)을 동기부여하고 형식화한다.
• 합법성(admissibility)을 특징짓고, 합성 및 포인트-널(null) 설정에서 모든 admissible 구성에 비음수 마팅게일이 필요하다는 것을 보여준다.
• 합법성 결과의 필요충분조건을 확립하기 위해 Doob–Lévy max-martingales 및 Snell envelope 분해를 이용한 축약 및 도구를 개발한다.
• 이전 방법의 admissibility를 illustrating하기 위한 예시(Gaussian, subGaussian, 대칭성)를 제공한다.
• 확인 구간 및 합성 가설을 통해 추정 작업으로 admissibility 분석을 확장한다.

제안 방법

• p-processes, e-processes, confidence sequences, 그리고 Robbins-style sequential tests를 시간-균일 프레임워크에서 통일적으로 정의하고 관련시키는 방법을 제시한다.
• 비음수 (super)martingale, max-martingales, 그리고 Ville의 부등식을 사용하여 admissibility 기준을 도출한다.
• Doob–Lévy max-martingales 및 Snell envelope 분해를 통해 포인트-널 및 합성-널 설정에서 admissibility의 필요충분조건을 확립한다.
• 합성에서 포인트-널 케이스로의 축약을 통해 추정(Confidence sequences)의 admissibility 결과를 확장한다.
• Illustrative exponential-family 예시(Gaussian, subGaussian, symmetry)를 통해 admissible 구성들이 기존 방법을 능가할 수 있음을 보인다.

실험 결과

연구 질문

• RQ1 합성 널(null)에서의 admissible p-processes에 대한 필요충분조건은 무엇인가?
• RQ2 모든 admissible anytime-valid 순차 추론 도구(p-processes, e-processes, confidence sequences, sequential tests)에 대해 비음수 마팅게일이 필요한가?
• RQ3 합성 설정에서 admissibility 결과를 확립하기 위해 max-martingales와 Snell envelopes를 어떻게 사용할 수 있는가?
• RQ4 합성에서 포인트-널 케이스로의 축약이 confidence sequences 및 e-processes의 일반 admissibility 결론을 얻도록 할 수 있는가?
• RQ5 표준 구성(예: subGaussian martingales)이 admissibility를 달성하는가, 그리고 이전 방법이 어떤 경우에 inadmissible해지는가(예: 대칭성 테스트 등)?

주요 결과

• 비음수 마팅게일은 p-processes, e-processes, confidence sequences, 및 sequential tests 전반에 걸쳐 admissible anytime-valid 순차 추론에 보편적으로 필요하다.
• Max-martingales와 Doob–Lévy 구성, 더불어 Snell envelopes가 합성 설정에서 필요충분 admissibility 조건을 증명하는 프레임워크를 제공한다.
• 합성에서 포인트-널 케이스로의 축약을 통해 confidence sequences 및 추정에 대한 일반 admissibility 결과를 가능하게 한다.
• Robbins의 subGaussian martingale는 admissible한 것으로 입증되며, 반면 일부 대칭성 기반 테스트는 새로운 admissible 구성에 대해 inadmissible한 것으로 보인다.
• 논문은 admissibility 분석을 심화하기 위한 새로운 Doob-Lévy max-martingale 도구와 anti-concentration 경계들을 제시한다.