[論文レビュー] Hypothesis Testing for Validation and Certification

Clint Scovel, Ingo Steinwart|arXiv (Cornell University)|Feb 26, 2013

Simulation Techniques and Applications参考文献 34被引用数 3

ひとこと要約

この論文は、測度の集中理論を用いて、誤差率の厳密な境界を設定する統計的仮説検定問題として、モデルの妥当性評価と認証を定式化する。未知の集中パラメータをデータ駆動で推定することで、集中パラメータが未知であっても、型Iおよび型IIエラーを保証するテストを構築し、実験データの範囲を超えた外挙的妥当性評価を可能にする。

ABSTRACT

We develop a hypothesis testing framework for the formulation of the problems of 1) the validation of a simulation model and 2) using modeling to certify the performance of a physical system. These results are used to solve the extrapolative validation and certification problems, namely problems where the regime of interest is different than the regime for which we have experimental data. We use concentration of measure theory to develop the tests and analyze their errors. This work was stimulated by the work of Lucas, Owhadi, and Ortiz where a rigorous method of validation and certification is described and tested. In a remark we describe the connection between the two approaches. Moreover, as mentioned in that work these results have important implications in the Quantification of Margins and Uncertainties (QMU) framework. In particular, in a remark we describe how it provides a rigorous interpretation of the notion of confidence and new notions of margins and uncertainties which allow this interpretation. Since certain concentration parameters used in the above tests may be unkown, we furthermore show, in the last half of the paper, how to derive equally powerful tests which estimate them from sample data, thus replacing the assumption of the values of the concentration parameters with weaker assumptions. This paper is an essentially exact copy of one dated April 10, 2010.

研究の動機と目的

• 性能の閾値と信頼水準を明確に定めた統計的仮説検定問題として、モデルの妥当性評価と認証を形式化すること。
• 実験条件とは異なる運用環境における外挙的妥当性評価の課題に、測度の集中不等式を用いて対処すること。
• MarginとUncertaintyの定量化（QMU）フレームワーク内での信頼度、マージン、不確実性の厳密な解釈を提供すること。
• 集中パラメータに関する強い仮定を排除し、標本データからこれらのパラメータを推定するテストを導出すること。
• 弱い仮定のもとで型Iおよび型IIエラー率に対する理論的保証を確保し、実用的適用性を高めること。

提案手法

• 確率的性能制約を満たす確率変数の集合として帰無仮説と対立仮説を定式化する：$\mathcal{H}_{a,p} = \{U \in \mathcal{U} : \mathbb{P}(U \geq a) \geq p\}$ および $\mathcal{K}_{a',p'} = \{U \in \mathcal{U} : \mathbb{P}(U \geq a') < p'\}$。
• 測度の集中不等式を適用し、仮説検定における型Iおよび型IIエラーの確率の境界を導出する。
• 未知の集中パラメータ $D_F$ および $\mathcal{D}_F$ のデータ駆動推定器を導入し、強い事前仮定の代わりに弱い、経験的推定値を用いる。
• 損失関数の構造とそのサブガウス性を活用し、$f_H'(r_1,r_2,\delta)$ および $f_K'(r_1,r_2,\delta)$ を用いて明示的な誤差境界を持つ検定統計量を導出する。
• 帰無仮説および対立仮説の下での検定統計量の期待値を用いて理論的境界を導出し、補題4.1および定理4.11を活用する。
• 耐容区間 $A$ および $P$ を用いて $a$ および $p$ のための合成検定を構築し、顧客が指定する性能閾値の柔軟性を保ちつつ、誤差保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、明確な性能閾値を伴った統計的仮説検定問題として、モデルの妥当性評価と認証を厳密に定式化できるか？
• RQ2 測度の集中理論は、外挙的領域における妥当性評価と認証テストの誤差境界を導出するために果たす役割は何か？
• RQ3 実際には、集中パラメータが既知であるという仮定をどのように緩和できるか？また、その影響はテストのパワーと信頼性にどのような影響を与えるか？
• RQ4 提案されたテストは、QMUフレームワーク内での信頼度、マージン、不確実性をどのように厳密に解釈するか？
• RQ5 集中パラメータのデータ駆動推定は、パラメータが既知であると仮定した場合と同等のパワーを持つテストをもたらすか？

主な発見

• このフレームワークは、測度の集中不等式を用いて、型Iおよび型IIエラー率を保証する厳密な仮説検定を実現する。
• 集中パラメータが未知の場合でも、標本データから推定することで、同等のパワーを持つテストを導出でき、強い仮定を弱い経験的制約に置き換える。
• 誤差確率の理論的境界は、$\mathcal{D}_F$ および $\mathcal{D}_{F'}$ の経験的推定値に依存する $f_H'(r_1,r_2,\delta)$ および $f_K'(r_1,r_2,\delta)$ を用いて導出される。
• 結果は、QMUフレームワーク内での信頼度に厳密な解釈を提供し、テスト構造を通じてマージンと不確実性に明確な関連を示す。
• 系5.1および系5.2は、理論的 $\mathcal{D}_F$ および $\mathcal{D}_{F'}$ をデータ駆動推定値に置き換えても、誤差境界 $\delta_1$ および $\delta_2$ が保持されることを示し、耐性を保証する。
• 耐容区間 $A$ および $P$ を用いることで、顧客が指定する性能閾値に対する柔軟な対応が可能となり、理論的保証を維持したまま実用的適応が可能となる。