[論文レビュー] Robust Estimation of Tree Structured Ising Models

Ashish Katiyar, Vatsal Shah+1 more|arXiv (Cornell University)|Jun 10, 2020

Bayesian Modeling and Causal Inference参考文献 2被引用数 7

ひとこと要約

この論文は、ノード観測値が未知で不均一な独立した符号反転ノイズによって汚染される場合の木構造のイジングモデルの学習の課題に取り組む。問題は一般に同定不能であるが、葉ノードとその隣接ノードの置換に限った同値類に制限され、その同値類を回復するロバストなアルゴリズムを提案する。このアルゴリズムは対数的サンプル複雑性と多項式時間実行時間を達成し、ノイズのあるデータにおいて標準的手法を上回る性能を示す。

ABSTRACT

We consider the task of learning Ising models when the signs of different random variables are flipped independently with possibly unequal, unknown probabilities. In this paper, we focus on the problem of robust estimation of tree-structured Ising models. Without any additional assumption of side information, this is an open problem. We first prove that this problem is unidentifiable, however, this unidentifiability is limited to a small equivalence class of trees formed by leaf nodes exchanging positions with their neighbors. Next, we propose an algorithm to solve the above problem with logarithmic sample complexity in the number of nodes and polynomial run-time complexity. Lastly, we empirically demonstrate that, as expected, existing algorithms are not inherently robust in the proposed setting whereas our algorithm correctly recovers the underlying equivalence class.

研究の動機と目的

• ノード観測値が未知で不均一な独立した符号反転ノイズによって汚染される場合の木構造のイジングモデルの学習問題に対処すること。
• 誤差確率に関する補助情報がなければ、このようなノイズ下でも元の木構造が同定可能かどうかを調査すること。
• このノイズモデル下で区別不能な木構造の同値類を回復できる効率的なアルゴリズムを開発すること。
• 既存の手法（例：Chow-Liu や Sparsitron）がこのノイズモデル下で失敗することを実験的に示し、提案手法が成功することを示すこと。

提案手法

• 一般に学習問題が同定不能であることを証明するが、同定不能性は葉ノードとその直近の隣接ノードの置換に限られることを示す。
• ノイズモデル下で区別不能な木構造の同値類を特徴づけ、葉ノードとその親ノードの局所的再配置のみが曖昧であることを示す。
• 観測されたノイズあり相関を推定し、推定された相関行列に対して修正された最大重み全域木アルゴリズムを適用することで同値類を回復するアルゴリズムを提案する。
• Hoeffdingの不等式を用いて、ノイズのあるサンプリング下での経験的相関の濃度バインディングを導出し、高い確率で信頼性のある推定が可能であることを保証する。
• 全ノードペアにわたる和集合バインディングを用いて、グラフ全体における推定誤差の確率を制御する。
• サンプル複雑性の上限を $ m = \mathcal{O}(\delta^{-2} \log(n^2 / \tau)) $ として導出する。これは、誤差許容度 $\delta$ と信頼度 $\tau$ に対して、ノード数にたいして対数的依存性を示している。

実験結果

リサーチクエスチョン

• RQ1 ノード観測値が未知で不均一な独立した符号反転ノイズによって汚染される場合、木構造のイジングモデルの構造は同定可能か？
• RQ2 この設定における同定不能性の性質は何か？有限個の木構造の同値類として特徴づけられるか？
• RQ3 効率的なアルゴリズムが、低サンプル複雑性および計算複雑性でこの同値類を回復できるか？
• RQ4 Chow-Liu や Sparsitron などの既存の構造学習手法は、このノイズモデル下でもロバストであるか、それとも崩壊的に失敗するか？
• RQ5 このノイズモデル下で、同値類を信頼性高く推定するために必要な最小サンプル複雑性は何か？

主な発見

• 未知で不均一な独立した符号反転ノイズ下での木構造のイジングモデルの学習問題は一般に同定不能であるが、同定不能性は小さな木構造の同値類に制限される。
• 同値類は、葉ノードとその直近の隣接ノードの置換によって得られるすべての木構造から構成され、したがって曖昧なのは局所的な再配置に限られる。
• 提案手法は、ノード数にたいして対数的サンプル複雑性を用いて、高い確率でこの同値類を回復する。
• アルゴリズムは多項式時間実行複雑性を達成しており、大規模なネットワークにおいてもスケーラブルで実用的である。
• 実験的結果から、Chow-Liu や Sparsitron といった標準的手法は、このノイズモデル下で正しい構造を回復できないが、提案手法は同値類を正しく同定することが示された。
• サンプル複雑性の上限は $ m = \mathcal{O}(\delta^{-2} \log(n^2 / \tau)) $ であり、ノード数にたいして対数的依存性を示しており、信頼性のある回復がノード数の対数関数的増加で可能であることを示している。