[論文レビュー] How biased is your model? Concentration Inequalities, Information and Model Bias

Konstantinos Gourgoulias, Markos A. Katsoulakis+2 more|arXiv (Cornell University)|Jun 30, 2017

Probabilistic and Robust Engineering Design参考文献 38被引用数 9

ひとこと要約

本稿は、集中不等式と情報理論的ツールを組み合わせることで、計算的に効率的なフレームワークを提案し、統計推定量におけるモデルバイアスの境界を求める。ドンスカー＝ヴァラドハンの変分原理とモーメント生成関数、およびカルバック・ライブララー発散を組み合わせることで、真のモデル Q の代わりにベースラインモデル P を使用する場合の関心の量のバイアスに対するきめ細かくスケーラブルな境界を導出する。明示的な信頼区間は任意のデータサイズに対して有効である。

ABSTRACT

We derive tight and computable bounds on the bias of statistical estimators, or more generally of quantities of interest, when evaluated on a baseline model P rather than on the typically unknown true model Q. Our proposed method combines the scalable information inequality derived by P. Dupuis, K.Chowdhary, the authors and their collaborators together with classical concentration inequalities (such as Bennett's and Hoeffding-Azuma inequalities). Our bounds are expressed in terms of the Kullback-Leibler divergence R(Q||P) of model Q with respect to P and the moment generating function for the statistical estimator under P. Furthermore, concentration inequalities, i.e. bounds on moment generating functions, provide tight and computationally inexpensive model bias bounds for quantities of interest. Finally, they allow us to derive rigorous confidence bands for statistical estimators that account for model bias and are valid for an arbitrary amount of data.

研究の動機と目的

• モデルの誤特定または単純化に起因する予測モデルにおけるモデルバイアスの定量的評価という重要な課題に対処すること。
• 真のモデル Q の代わりにベースラインモデル P を用いて評価する統計推定量のバイアスに対して、計算的に取り扱いやすくきめ細かい境界を構築すること。
• 情報理論的手法と集中不等式を統合し、モデルバイアスを考慮した厳密な信頼区間を生成すること。
• 高次元モデル、確率過程、および複雑系におけるスケーラブルかつ非パラメトリックな不確実性評価を可能にすること。
• KL 発散を用いてモデルの複雑さ、計算コスト、およびバイアス耐性のトレードオフを定量化するフレームワークを提供すること。

提案手法

• 本手法は、ベースラインモデル P における関心の量のモーメント生成関数（MGF）の上での変分最適化として、KL 発散 R(Q||P) を表現するドンスカー＝ヴァラドハンの変分原理を活用する。
• バイアス境界を R(Q||P) と P における推定量の MGF の関数として定式化することで、モデルバイアスのきめ細かくスケーラブルな制御が可能になる。
• 特にベンネットの不等式およびホーフィング＝アズマの不等式を用いて MGF を境界づけることで、計算コストが低くかつ厳密なバイアス推定が得られる。
• データの可用性に応じて P と Q の役割を入れ替えることで、非対称的な取り扱いが可能となり、柔軟性と応用範囲が向上する。
• 変分最適化により、特定の Q が P の KL 近傍内にある場合に等号が成立することを示し、境界がきめ細かく最適であることが証明されている。
• 本手法により、任意の標本サイズに対して有効であり、かつモデルバイアスを明示的に考慮した推定量の信頼区間の導出が可能である。

実験結果

リサーチクエスチョン

• RQ1 真のモデル Q の代わりにベースラインモデル P を使用する場合に、統計推定量のバイアスに対してきめ細かく計算可能な境界をどのように導出できるか。
• RQ2 高次元データ、複雑なモデル、または長時間の確率過程において、モデルバイアスを効率的にスケーリング可能な形で定量化できるか。
• RQ3 古典的な不等式（ピンサーまたはチャップマン＝ロビンズ）と比較して、集中不等式がモデルバイアス境界のきめ細かさと計算効率をどの程度向上できるか。
• RQ4 Kullback-Leibler 発散 R(Q||P) は、モデル選択および推論における達成可能なバイアス耐性とどのように関係しているか。
• RQ5 任意のデータサイズに対して有効であり、かつモデルバイアスを厳密に考慮した推定量の信頼区間を構築できるか。

主な発見

• 提案された境界はきめ細かく最適であり、ドンスカー＝ヴァラドハンの変分原理により、P の KL 発散近傍内に特定の Q が存在する場合に等号が成立することが証明されている。
• KL 発散と集中不等式を組み合わせることで、ピンサーの境界のような古典的手法よりも著しく緩い境界を改善する、計算的に効率的な境界が得られる。
• 本フレームワークにより、任意のデータ量に対して有効であり、かつモデルバイアスを明示的に考慮した統計推定量の信頼区間の導出が可能である。
• 境界はスケーラブルかつ識別性に優れ、マーカフ・ランダムフィールドや確率過程の長時間ダイナミクスといった高次元設定でも良好に機能する。
• データの可用性に応じて P と Q の役割を入れ替えることが可能であり、実用的応用における柔軟性が向上する。
• 本手法は一般性に富み、分子動力学における粗粒度化、ギブス＝マルコフ場の相図、および変分推論を含む広範な問題に適用可能である。