[論文レビュー] Generalized Direct Change Estimation in Ising Model Structure

Farideh Fazayeli, Arindam Banerjee|arXiv (Cornell University)|Jun 16, 2016

Statistical Methods and Inference参考文献 30被引用数 10

ひとこと要約

本稿では、個々のモデルパラメータを推定せずに、ノルム正則化最適化を用いて2つの分布間の構造的変化を直接推定する一般化された直接的変化推定法を提案する。この手法は、ℓ₁ノルム下でのs-スパースな変化に対して、$O(s\log p)$の標本複雑性を達成する。これは、従来の方法が $O(s^2\log p)$ の標本数を要し、第二のセットに対しては $O(n_1^2)$ の標本数を要していたのを改善している。

ABSTRACT

We consider the problem of estimating change in the dependency structure between two $p$-dimensional Ising models, based on respectively $n_1$ and $n_2$ samples drawn from the models. The change is assumed to be structured, e.g., sparse, block sparse, node-perturbed sparse, etc., such that it can be characterized by a suitable (atomic) norm. We present and analyze a norm-regularized estimator for directly estimating the change in structure, without having to estimate the structures of the individual Ising models. The estimator can work with any norm, and can be generalized to other graphical models under mild assumptions. We show that only one set of samples, say $n_2$, needs to satisfy the sample complexity requirement for the estimator to work, and the estimation error decreases as $\frac{c}{\sqrt{\min(n_1,n_2)}}$, where $c$ depends on the Gaussian width of the unit norm ball. For example, for $\ell_1$ norm applied to $s$-sparse change, the change can be accurately estimated with $\min(n_1,n_2)=O(s \log p)$ which is sharper than an existing result $n_1= O(s^2 \log p)$ and $n_2 = O(n_1^2)$. Experimental results illustrating the effectiveness of the proposed estimator are presented.

研究の動機と目的

• 個々のパラメータが密集している可能性があるが、変化が構造的である高次元のイジングモデルにおける構造的変化の推定という課題に対処すること。
• 個々のモデルパラメータ $\theta_1^*$ と $\theta_2^*$ を推定しない直接的推定フレームワークを構築し、標本数と計算コストの両面で効率性を向上させること。
• 既存のスパースな変化推定法を、ブロックスパースやノード摂動スパースなど、任意の構造的変化を扱えるように、アトミックノルムを用いて一般化すること。
• 一般ノルム正則化の下で、提案された推定量の推定誤差と標本複雑性に関する理論的保証を確立すること。
• 標本複雑性要件を満たすのは1つのサンプルセットだけで十分であり、推定誤差が $\frac{c}{\sqrt{\min(n_1,n_2)}}$ の割合で減少することを示すこと。

提案手法

• 両方のイジングモデルからの標本を用いて、$\theta_1^*$ と $\theta_2^*$ を個別に推定せずに、直接的に変化 $\delta\theta^* = \theta_1^* - \theta_2^*$ を推定するノルム正則化推定量を提案する。
• スパースネス、ブロックスパースネス、ハイアラルスパースネスなどの構造的変化を表現できる一般アトミックノルム $R(\cdot)$ を用いたラッソ型最適化フレームワークを採用する。
• 目的関数は両分布からの尤度に基づく項と、正則化項 $\lambda_{n_1,n_2} R(\delta\theta)$ を組み合わせており、$\lambda$ は両方の標本サイズに依存する。
• 単位ノルム球のガウス幅の幾何的解析を用いて、非漸近的誤差バウンドと標本複雑性の保証を導出する。
• 密度比モデル下での経験的リスクの濃縮不等式を導出し、推定量の安定性と一貫性を保証する。
• 2標本設定に適応したプライマル・デュアル・ウィtnessアプローチを適用し、ノルムのガウス幅に基づいて推定誤差を分析可能にする。

実験結果

リサーチクエスチョン

• RQ1 イジングモデルにおける直接的変化推定は、ℓ₁ノルムスパースネスを超えて、ブロックスパースネスやノード摂動スパースネスなどの他の構造的変化に対しても一般化可能か？
• RQ2 高次元イジングモデルにおける構造的変化の正確な直接推定に必要な最小の標本複雑性は何か？
• RQ3 個々のパラメータが密集しているが変化が構造的である場合、本手法は間接推定よりも標本効率が優れているか？
• RQ4 推定誤差を低く保ちながら、標本複雑性要件を満たすのは1つのサンプルセットだけで十分であると保証できるか？
• RQ5 推定誤差は標本数にどのように依存するか？また、ノルムの単位球のガウス幅はこのスケーリングにどのような役割を果たすか？

主な発見

• 提案された推定量は、推定誤差が $\frac{c}{\sqrt{\min(n_1,n_2)}}$ の割合で減少することを示し、$c$ は単位ノルム球のガウス幅に依存する。
• s-スパースな変化に対する ℓ₁ ノルム正則化では、必要な標本複雑性が $\min(n_1,n_2) = O(s\log p)$ に抑えられ、従来の $O(s^2\log p)$（$n_1$ に対して）および $O(n_1^2)$（$n_2$ に対して）の境界を改善している。
• 本手法では、標本複雑性条件を満たすのは1つのサンプルセット（例：$n_2$）だけで十分であり、もう一方のセット（$n_1$）は小さくてもよく、実用的な効率性が向上する。
• 解析は任意のアトミックノルムに一般化可能であり、グループスパースネス、ハイアラルスパースネス、ノード摂動スパースネスなどの構造的変化の直接推定が可能になる。
• 幾何的濃縮とプライマル・デュアル・ウィtnessの議論を用いて理論的保証を確立し、推定量の一貫性（高確率で）を示している。
• 個々のパラメータが密集しているが変化がスパースまたは構造的であるような状況では、標本効率と計算コストの両面で、間接推定を上回る性能を発揮する。