[논문 리뷰] How biased is your model? Concentration Inequalities, Information and Model Bias

Konstantinos Gourgoulias, Markos A. Katsoulakis외 2명|arXiv (Cornell University)|2017. 06. 30.

Probabilistic and Robust Engineering Design참고 문헌 38인용 수 9

한 줄 요약

이 논문은 농도 불확실성 이론과 정보 이론적 도구를 활용하여 통계적 추정기의 모델 편향을 경계짓는 새로운 계산적으로 효율적인 프레임워크를 제안한다. 도네스커-바라드한 변분 원리와 모멘트 생성 함수 및 킬벡-레이블러 발산을 조합함으로써, 진정한 모델 Q 대신 기준 모델 P를 사용할 때 관심 있는 양의 편향에 대해 날카럽고 확장 가능한 경계를 도출한다. 이 경계는 임의의 데이터 크기에서 유효한 명시적 신뢰구간을 제공한다.

ABSTRACT

We derive tight and computable bounds on the bias of statistical estimators, or more generally of quantities of interest, when evaluated on a baseline model P rather than on the typically unknown true model Q. Our proposed method combines the scalable information inequality derived by P. Dupuis, K.Chowdhary, the authors and their collaborators together with classical concentration inequalities (such as Bennett's and Hoeffding-Azuma inequalities). Our bounds are expressed in terms of the Kullback-Leibler divergence R(Q||P) of model Q with respect to P and the moment generating function for the statistical estimator under P. Furthermore, concentration inequalities, i.e. bounds on moment generating functions, provide tight and computationally inexpensive model bias bounds for quantities of interest. Finally, they allow us to derive rigorous confidence bands for statistical estimators that account for model bias and are valid for an arbitrary amount of data.

연구 동기 및 목표

• 모델의 잘못된 특정화 또는 단순화로 인한 예측 모델의 편향을 정량화하는 데 있어 핵심적인 과제를 해결하기 위해.
• 기본 모델 P 대신 진정한 모델 Q를 사용할 때 통계적 추정기의 편향에 대해 계산적으로 다룰 수 있고 날카로운 경계를 개발하기 위해.
• 정보 이론적 방법과 농도 불확실성 이론을 통합하여 모델 편향을 고려한 엄밀한 신뢰구간을 생성하기 위해.
• 고차원 모델, 확률적 과정, 복잡한 시스템에서 확장 가능하고 비모수적 불확실성 정량화를 가능하게 하기 위해.
• KL 발산을 통해 모델 복잡성, 계산 비용, 편향 내성 간의 상호 교환 관계를 정량화하는 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 기준 모델 P 하에서 관심 있는 양의 모멘트 생성 함수(MGF)에 대한 변분 최적화를 통해 KL 발산 R(Q||P)를 표현하는 도네스커-바라드한 변분 원리를 활용한다.
• 편향 경계를 R(Q||P)와 P 하에서 추정기의 MGF에 대한 함수로 설정함으로써, 모델 편향을 날카롭고 확장 가능하게 제어할 수 있다.
• 농도 불확실성 이론—특히 벤넷의 정리와 허프딩-아즈마 정리—를 적용하여 MGF를 경계함으로써, 계산 비용이 저렴하고 엄밀한 편향 추정치를 도출한다.
• 데이터 가용성에 따라 P와 Q의 역할을 교환할 수 있도록 하여 프레임워크의 유연성과 적용 가능성을 높인다.
• 변분 최적화를 통해 특정 Q가 P의 KL 이웃 내에서 정확히 등호를 만족함을 증명함으로써, 경계가 날카롭고 최적임을 입증한다.
• 모든 표본 크기에서 유효하고 모델 편향을 명시적으로 고려한 추정기의 신뢰구간을 도출할 수 있다.

실험 결과

연구 질문

• RQ1 기본 모델 P를 진정한 모델 Q 대신 사용할 때 통계적 추정기의 편향에 대해 날카롭고 계산 가능한 경계를 어떻게 도출할 수 있는가?
• RQ2 고차원 데이터, 복잡한 모델, 또는 장시간에 걸친 확률적 과정에서 효율적으로 확장 가능한 방식으로 모델 편향을 정량화할 수 있는가?
• RQ3 클래식한 불확실성 이론(예: 핀스커 또는 찰프먼-로빈스)에 비해, 농도 불확실성 이론이 편향 경계의 날카움과 계산 효율성에 얼마나 기여하는가?
• RQ4 킬벡-레이블러 발산 R(Q||P)는 모델 선택 및 추론에서 달성 가능한 편향 내성과 어떻게 관련이 있는가?
• RQ5 모델 편향을 엄밀히 고려하고 임의의 데이터 크기에서 유효한 추정기의 신뢰구간을 어떻게 구성할 수 있는가?

주요 결과

• 제안된 경계는 날카롭고 최적이며, 도네스커-바라드한 변분 원리를 통해 P의 KL 발산 이웃 내 특정 Q에서 정확히 등호를 만족함을 증명하였다.
• KL 발산과 농도 불확실성 이론을 조합함으로써 계산적으로 효율적인 경계를 제공하여, 핀스커의 고전적 경계보다 훨씬 낮은 느슨함을 개선하였다.
• 모든 크기의 데이터에서 유효하고 모델 편향을 명시적으로 고려한 통계적 추정기의 신뢰구간을 도출할 수 있다.
• 경계는 확장 가능하고 구분력이 있으며, 마르코프 무작위 필드나 확률적 과정의 장시간 역학과 같은 고차원 설정에서 잘 작동한다.
• 데이터 가용성에 따라 P와 Q의 역할을 교환할 수 있어 실용적 응용에서의 유연성을 높인다.
• 이 방법은 일반적이며 분자 역학에서의 군집화, 깁스-마르코프 필드의 상도도, 변분 추론 등 다양한 문제에 적용 가능하다.