[논문 리뷰] Empirical priors and posterior concentration in a piecewise polynomial sequence model

Chang Liu, Ryan R. Martin외 1명|arXiv (Cornell University)|2017. 12. 11.

Statistical Methods and Inference참고 문헌 36인용 수 9

한 줄 요약

이 논문은 조각다항식 시퀀스 모델에 대한 경험베이지안 방법을 제안하며, 적응형 최소최대 사후 농도 농도와 일致한 구조 학습을 달성한다. 데이터 기반 추정치에 중심을 둔 공액 경험 사전분포를 사용함으로써, 이 방법은 추세 필터링 및 기타 방법에 비해 신호 추정과 블록 분할 복원에서 빠른 계산과 뛰어난 유한표본 성능을 달성한다.

ABSTRACT

Inference on high-dimensional parameters in structured linear models is an important statistical problem. This paper focuses on the case of a piecewise polynomial Gaussian sequence model, and we develop a new empirical Bayes solution that enjoys adaptive minimax posterior concentration rates and improved structure learning properties compared to existing methods. Moreover, thanks to the conjugate form of the empirical prior, posterior computations are fast and easy. Numerical examples also highlight the method's strong finite-sample performance compared to existing methods across a range of different scenarios.

연구 동기 및 목표

• 조각다항식 가우시안 시퀀스 모델에서 적응형 사후 농도 농도 및 구조 복원에 대한 베이지안 방법의 부족을 해결하기 위해.
• 알 수 없는 블록 구성과 다항식 차수에 적응하는 계산 효율성이 높은 경험 사전분포를 개발하기 위해.
• 기존 방법보다 더 약한 조건에서도 사후 농도 농도 및 구조 학습에 대한 이론적 보장을 확립하기 위해.
• 조각다항식 시퀀스 모델에서 추세 필터링과 같은 정규화 기반 접근법에 비해 유한표본 성능을 향상시키기 위해.

제안 방법

• 이 방법은 다항식 계수의 데이터 기반 추정치에 중심을 둔 경험 사전분포를 사용하여, 고정된 중심을 가지지 않는 사전 적응성을 향상시킨다.
• 계산 효율성을 위해 공액 사전분포를 사용하며, 닫힌 형식의 업데이트를 통해 정확하고 신속한 사후분포 계산을 가능하게 한다.
• 계층 모델을 통해 블록 구성과 다항식 계수에 데이터 의존적 하이퍼파라미터를 할당함으로써 사전분포를 구성한다.
• 사후 농도 농도 분석은 엔트로피와 테스팅 기반 접근법을 조합하여 수행되며, 설계 행렬의 고유값 제어를 통해 경계를 유도한다.
• 사후 농도 농도가 진정한 블록 구성 $B^*$에 대해 수렴함을 보여줌으로써, 구조 학습 일치성을 확립한다.
• 이론적 분석은 조각다항식 신호를 희박한 계수 형태로 표현하기 위해 $K$-번째 차수의 차분 연산자 $\Delta^K$를 활용한다.

실험 결과

연구 질문

• RQ1 경험베이지안 접근법이 조각다항식 시퀀스 모델에서 적응형 사후 농도 농도를 달성할 수 있는가?
• RQ2 제안된 방법이 고차원 설정에서 진정한 블록 구성 $B^*$를 일관되게 복원할 수 있는가?
• RQ3 경험 사전분포의 성능은 끝자국 필터링에 비해 어떻게 유한표본에서 나타나는가?
• RQ4 공액 사전분포는 조각다항식과 같이 희박하지 않은 구조적 모델에 효과적으로 사용될 수 있는가?
• RQ5 이 모델 클래스에서 사후 농도 농도 및 구조 학습을 위해 어떤 조건이 필요한가?

주요 결과

• 경험베이지안 사후분포는 최적의 추세 필터링 비율에 로그 요소를 제외하고 동일한 적응형 최소최대 사후 농도 농도를 달성한다.
• Guntuboyina 등(2020)에서 요구하는 조건보다 더 약한 조건 하에서도 사후 농도 농도가 확립되며, 특히 강한 희박성 및 최소 길이 가정을 피한다.
• 구조 학습 일치성이 증명됨: $n \to \infty$일 때 진정한 블록 구성 $B^*$의 사후 확률은 1로 수렴한다.
• 이 방법은 신호 추정 및 변화점 탐지에서 뛰어난 유한표본 성능을 보이며, 다양한 시뮬레이션 시나리오에서 추세 필터링을 능가한다.
• 경험 사전분포의 공액 형태는 정확하고 신속한 사후분포 계산을 가능하게 하여, 실세계 적용에 있어 확장 가능하고 실용적인 방법이 된다.
• 이론적 경계는 설계 행렬의 고유값 제어에 기반하며, $\lambda_{\min}(X_S^T X_S) \geq \gamma/4$ 부등식을 사용한다. 여기서 $\gamma$는 블록 경계 간 최소 간격이다.