[論文レビュー] The Computational Complexity of Sensitivity Analysis and Parameter Tuning

Johan Kwisthout, Linda C. van der Gaag|arXiv (Cornell University)|Jun 13, 2012

Bayesian Modeling and Causal Inference参考文献 19被引用数 15

ひとこと要約

本稿は、確率的ネットワークにおける感度解析とパラメータチューニングの計算複雑性を確立し、これらの問題の一般形が NPPP-完全であることを証明している。さらに、制限付きの形態が依然として NP-完全または PP-完全であることが示され、ベイジアンネットワークや類似モデルにおけるこれらのタスクのスケーラブルなアルゴリズム設計における根本的な限界が明らかになった。

ABSTRACT

While known algorithms for sensitivity analysis and parameter tuning in probabilistic networks have a running time that is exponential in the size of the network, the exact computational complexity of these problems has not been established as yet. In this paper we study several variants of the tuning problem and show that these problems are NPPP-complete in general. We further show that the problems remain NP-complete or PP-complete, for a number of restricted variants. These complexity results provide insight in whether or not recent achievements in sensitivity analysis and tuning can be extended to more general, practicable methods.

研究の動機と目的

• 確率的ネットワークにおける感度解析とパラメータチューニングの正確な計算複雑性を特定すること。
• これらの問題に対する既知の指数時間アルゴリズムが、複雑性の上限によって本質的に制限されているのか、それとも改善可能であるのかを評価すること。
• チューニングおよび感度解析のさまざまな問題バージョン（制限付きおよび一般形を含む）の複雑性を分類すること。
• 最近の感度解析の進展をより広範かつ実用的な応用に拡張する可能性について、理論的洞察を提供すること。
• 標準の複雑性仮定の下で、これらの問題に対する効率的（多項式時間）なアルゴリズムが理論的に可能かどうかを明確にすること。

提案手法

• 確率的グラフィカルモデルにおけるパラメータチューニングおよび感度解析問題の複数の変種を形式化すること。
• 既知の NP-完全および PP-完全問題をチューニングおよび感度解析問題に還元することで、複雑性の下界を確立すること。
• 一般設定下での問題の完全な複雑性を特徴付けるために、オракルを用いた複雑性クラス（特に NPPP）を用いること。
• ネットワークまたはパrameter空間に構造的制約を課すことによって、制限付きバージョンを分析すること。
• 適切な仮定の下で、各バージョンの完全性結果を証明するために、複雑性理論的技術を適用すること。
• 計算複雑性理論の結果を活用して、アルゴリズム設計およびスケーラビリティへの影響を導出すること。

実験結果

リサーチクエスチョン

• RQ1 確率的ネットワークにおける一般パラメータチューニングの正確な計算複雑性は何か？
• RQ2 感度解析およびパラメータチューニングの制限付きバージョンのうち、計算的に扱いやすいものはあるか？
• RQ3 標準の複雑性仮定の下で、これらの問題に対する既知の指数時間アルゴリズムを多項式時間に改善できるか？
• RQ4 ネットワークまたはパrameter空間における構造的制約は、チューニングおよび感度解析の複雑性にどのように影響するか？
• RQ5 NPPP-完全性の結果は、ベイジアンネットワーク推論におけるスケーラブルな手法設計にどのような意味を持つのか？

主な発見

• 確率的ネットワークにおける一般パラメータチューニング問題は NPPP-完全であることが示され、極めて高い計算困難性を示している。
• チューニング問題のいくつかの制限付きバージョンは依然として NP-完全であることが示され、単純化されたケースですら効率的に解くことが難しいことを示している。
• 他の制限付きバージョンは PP-完全であることが示され、確率的感度測定の計算における本質的な困難さが浮き彫りになった。
• これらの結果は、多項式時間アルゴリズムが存在しないことを示唆しており、多項式階層が崩壊しない限り、そのようなアルゴリズムは存在しない。
• 複雑性の上限は、現在の感度解析技術を大規模またはリアルタイム応用に拡張する上での根本的な制限を示唆している。
• 研究結果は、ベイジアンネットワーク推論における現在および将来のアルゴリズムのスケーラビリティの限界を理解するための理論的基盤を提供している。