[論文レビュー] A partial orthogonalization method for simulating covariance and concentration graph matrices

Irene Córdoba, Gherardo Varando+2 more|arXiv (Cornell University)|Jul 9, 2018

Bayesian Modeling and Causal Inference参考文献 21被引用数 4

ひとこと要約

本稿では、グラフモデルにおける強いリンク強度を保持する一方で、対角優勢行列に共通する弱い非対角成分の問題を克服するため、部分的正規直交化手法を提案する。この手法は、グラフにおける欠落エッジに対応する行同士に行単位の直交性を課すことにより、スパarsityレベルにかかわらず安定したリンク強度を確保し、合成および実世界の検証において構造学習アルゴリズムの構造回復性能を顕著に向上させる。

ABSTRACT

Structure learning methods for covariance and concentration graphs are often validated on synthetic models, usually obtained by randomly generating: (i) an undirected graph, and (ii) a compatible symmetric positive definite (SPD) matrix. In order to ensure positive definiteness in (ii), a dominant diagonal is usually imposed. However, the link strengths in the resulting graphical model, determined by off-diagonal entries in the SPD matrix, are in many scenarios extremely weak. Recovering the structure of the undirected graph thus becomes a challenge, and algorithm validation is notably affected. In this paper, we propose an alternative method which overcomes such problem yet yielding a compatible SPD matrix. We generate a partially row-wise-orthogonal matrix factor, where pairwise orthogonal rows correspond to missing edges in the undirected graph. In numerical experiments ranging from moderately dense to sparse scenarios, we obtain that, as the dimension increases, the link strength we simulate is stable with respect to the structure sparsity. Importantly, we show in a real validation setting how structure recovery is greatly improved for all learning algorithms when using our proposed method, thereby producing a more realistic comparison framework.

研究の動機と目的

• 次元が増加する際、非対角成分が極端に弱くなるという問題を抱える対角優勢行列の限界を是正すること。
• 無向グラフ構造と整合性を持つ対称正定値行列を生成する方法を開発し、強い安定したリンク強度を維持すること。
• 共分散および精度グラフ学習アルゴリズムの評価に用いる合成ベンチマークの現実性と信頼性を向上させること。
• 対角優勢行列に基づく評価では、アルゴリズムの順位付けや結論が誤解を招く可能性があることを示すこと。
• 計算的に効率的で再現可能であり、対角優勢性を回避する代替手法として、グラフモデルの検証におけるSPD行列生成に適した手法を提供すること。

提案手法

• 無向グラフにおける非隣接ノード（欠落エッジ）に対応する行同士に、部分的正規直交性を課す。
• 修正されたグラム・シュミット法を用いて部分的直交性を強制し、望ましいグラフ構造を保持する。
• 得られた行列要因を外積を用いて対称正定値行列に変換し、グラフ構造と整合性を確保する。
• 設計上、対角優勢性を回避するため、非対角成分の抑制を防ぐ。
• R言語で実装され、gmatパッケージとして公開されており、比較のための部分的正規直交化と対角優勢性の両方をサポートする。
• 本実装により、さまざまなスパarsityレベルおよび次元における行列の効率的生成が可能である。

実験結果

リサーチクエスチョン

• RQ1 部分的正規直交化手法は、対角優勢行列と比較して、より強く安定したリンク強度を有する共分散および精度行列を生成するか？
• RQ2 提案手法で生成された行列と対角優勢行列とで、構造学習アルゴリズムの性能にどのような差が生じるか？
• RQ3 提案手法は、中程度に密集したおよびスパースなグラフモデルの両方において、構造回復を改善できるか？
• RQ4 行列生成手法の違いが、学習アルゴリズムの真正陽性率および真正発見率に与える影響は何か？
• RQ5 提案手法は、実世界の検証設定において、より信頼性が高く現実的な性能比較を可能にするか？

主な発見

• 対角優勢行列を用いた場合、すべての構造学習アルゴリズムが、密度の高いグラフ（p=100, d=0.25）においてほぼゼロの真正陽性率を示し、構造回復が著しく不十分であった。
• 提案手法を用いることで、複数のアルゴリズムが真正陽性率約0.45を達成し、構造回復の顕著な改善が確認された。
• すべての学習アルゴリズムが、提案手法で生成された行列を用いた検証において、対角優勢性と比較して高い真正発見率を示した。
• 従来、対角優勢性のもとでは密度の高い状況で効果がなかったとされていた部分最小二乗回帰が、本手法を用いることで妥当な性能を示し、過去の結論に疑問を呈した。
• 本手法は、次元が増加してもグラフのスパarsityにかかわらず安定したリンク強度を維持するが、対角優勢性は非対角成分を抑制するため、そのような安定性に欠ける。
• 実世界の検証例から、アルゴリズムの順位付けや性能評価が、行列生成手法の選択によって根本的に変わることが示された。