[論文レビュー] Maximum entropy distributions on graphs

Christopher J. Hillar, Andre Wibisono|arXiv (Cornell University)|Jan 15, 2013

Face and Expression Recognition参考文献 66被引用数 35

ひとこと要約

本稿では、固定された期待次数列を持つ重み付きグラフにおける最大エントロピー分布を導入し、辺の重みを頂点ポテンシャルでパrameter化された独立変数としてモデル化する。本稿は、大規模ネットワークの極限において、1つのグラフ標本からの最尤推定器（MLE）の一貫性を証明し、βモデルを重み付きグラフに拡張し、固定点アルゴリズムを用いた有限離散ケースにおける幾何的収束を確立する。

ABSTRACT

Inspired by applications to theories of coding and communication in networks of nervous tissue, we study maximum entropy distributions on weighted graphs with a given expected degree sequence. These distributions are characterized by independent edge weights parameterized by a shared vector of vertex potentials. Using the general theory of exponential family distributions, we derive the existence and uniqueness of the maximum likelihood estimator (MLE) of the vertex parameters. We also prove consistency of the MLE from a single sample in the limit of large graphs, extending results of Chatterjee, Diaconis, and Sly in the unweighted case (the "beta-model" in statistics). Interestingly, our proofs require tight estimates on the norms of inverses of symmetric, diagonally dominant positive matrices. Along the way, we derive analogues of the Erdos-Gallai criterion of graphical degree sequences for weighted graphs.

研究の動機と目的

• 統計力学および情報理論に基づいた、重み付きグラフの原理的確率的モデルを構築すること。
• 有界・無限・連続な辺の重みを持つ無向重み付きグラフにおける最大エントロピー分布を特徴づけること。
• ネットワークサイズが増大する際、1つのグラフ標本からの頂点ポテンシャルの最尤推定器（MLE）の一貫性を証明すること。
• βモデルを非重み付きから重み付きグラフに拡張すること、特に離散的および連続的重み設定を含むこと。
• これらのモデルにおけるパラメータ推定のための計算的に効率的なアルゴリズム（固定点法および勾配ベース手法など）を提供すること。

提案手法

• 辺の重みを頂点ポテンシャルでパラメータ化された独立な確率変数としてモデル化し、指数型分布族を形成する。
• 対数正規化関数を導出し、そのヘッセ行列を用いてMLEの収束性を分析する。
• 大偏差理論および集中不等式を適用し、n → ∞ の極限におけるMLEの一貫性を証明する。
• 収束解析に不可欠な、対称的かつ対角優勢な正定値行列の逆行列のノルムに対するタイトな境界を確立する。
• グラフ的次数列に対するErdős–Gallaiの基準の類似物を導入し、重み付きグラフに適応する。
• 有限離散重みに対して幾何的収束率を示す固定点アルゴリズムと、無限大のケースに対して勾配ベース手法を提案する。

実験結果

リサーチクエスチョン

• RQ1 大規模な重み付きネットワークにおいて、1つのグラフ標本から頂点ポテンシャルの最尤推定器（MLE）を一貫して回復できるか？
• RQ2 重み付きグラフにおける最大エントロピー分布の数学的性質は、非重み付きβモデルをどのように一般化するか？
• RQ3 有限・無限・連続的重みを持つグラフモデルにおけるパラメータ推定の収束速度およびアルゴリズムの効率性は何か？
• RQ4 代数的幾何学およびグラフ極限理論は、制約付きグラフにおける最大エントロピーモデルの構造をどのように情報提供するか？
• RQ5 神経系に類似したシステムにおいて、最大エントロピーパラメータを計算するための生物学的に妥当なアルゴリズムはどのように設計できるか？

主な発見

• 頂点ポテンシャルの最尤推定器（MLE）は、大規模グラフの極限において、1つのグラフ標本からの推定において一貫している。これは、βモデルを重み付き設定に拡張した結果である。
• 重みが {0,1,…,r−1} の有限離散値をとる場合、幾何的収束率を示す固定点アルゴリズムが、MLEの効率的計算を保証する。
• 対数正規化関数のヘッセ行列の逆行列に対するタイトな境界が導出され、無限大のケースにおける勾配ベース手法の収束速度解析が可能になった。
• 重み付きグラフに対するErdős–Gallai基準の類似物が確立され、次数列が実現可能であるための必要十分条件が得られた。
• 理論的枠組みは、スパースグラフ設定における効率的なパラメータ推定を支援する。画像量子化およびセンサデータ再構成の例でその有効性が示された。
• 結果から、グラフ上の最大エントロピーモデルは、神経系における生物学的に妥当で、並列的かつエネルギー効率の良い計算フレームワークとして機能しうることが示唆された。