[論文レビュー] Optimal link prediction with matrix logistic regression

Nicolai Baldin, Quentin Berthet|arXiv (Cornell University)|Mar 19, 2018

Complex Network Analysis Techniques参考文献 69被引用数 6

ひとこと要約

本稿は、頂点側の情報を持つネットワークにおける最適なリンク予測のための行列ロジスティック回帰モデルを提案し、ブロックスパースな構造的仮定の下でフロベニウスノルムリスクのミニマックス最適レートを確立した。また、組み合わせ的罰則付き最尤推定器がこの最適レートを達成できることを証明したが、標準的な計算複雑性仮定のもとでは、多項式時間アルゴリズムはそのレートに到達できないことが示され、統計的・計算的トレードオフの根本的性質が明らかになった。

ABSTRACT

We consider the problem of link prediction, based on partial observation of a large network, and on side information associated to its vertices. The generative model is formulated as a matrix logistic regression. The performance of the model is analysed in a high-dimensional regime under a structural assumption. The minimax rate for the Frobenius-norm risk is established and a combinatorial estimator based on the penalised maximum likelihood approach is shown to achieve it. Furthermore, it is shown that this rate cannot be attained by any (randomised) algorithm computable in polynomial time under a computational complexity assumption.

研究の動機と目的

• 頂点側の情報を用いた大規模ネットワークにおけるリンク予測の統計的に最適なフレームワークの構築。
• 高次元行列ロジスティック回帰モデルにおけるフロベニウスノルムリスクの推定レートのミニマックスレートの確立。
• 多項式時間制約下でミニマックス最適レートを達成する可能性の計算可能性の調査。
• スパースでブロック構造を持つ相互作用行列の推定における統計的・計算的ギャップの特定。
• 古典的モデルから一般化線形モデルへの下界技術の拡張。

提案手法

• リンク予測を、頂点側情報と未知の相互作用行列の双線形形式のシグモイド関数に依存する行列ロジスティック回帰モデルとして定式化する。
• 真の相互作用行列がランクとスパarsityが有界なブロックスパース構造を持つという構造的仮定を課す。これは低次元の内因的構造を反映している。
• ミニマックス最適推定レートを達成するための組み合わせ的推定器を、罰則付き最尤推定に基づいて提案する。
• プラント・クリーク問題への還元とレ・カムの方法を用いて、推定リスクのミニマックス下界を導出する。
• プラント・クリーク問題が計算的に困難であるという仮定のもとで、任意の多項式時間アルゴリズムがミニマックスレートに到達できないことを示し、計算の難解性を確立する。
• 推定された行列ノルムに基づく検定統計量を用いて仮説を分離し、高次元検定枠組みにおいて推定誤差と検出力の関連を結びつける。

実験結果

リサーチクエスチョン

• RQ1 高次元行列ロジスティック回帰モデルにおいて、付加情報付きのリンク予測のミニマックス推定レートは何か？
• RQ2 同様の構造的仮定のもとで、多項式時間アルゴリズムがミニマックス最適推定レートに到達可能か？
• RQ3 相互作用行列のブロックスパース構造は、リンク予測における統計的・計算的トレードオフにどのように影響するか？
• RQ4 ミニマックス下界は、説明変数を伴う一般化線形モデルへどの程度拡張可能か？
• RQ5 このクラスのモデルにおいて、統計的最適性と計算可能性の間に根本的なギャップが存在するか？

主な発見

• ブロックスパース仮定の下で、行列ロジスティック回帰モデルにおけるフロベニウスノルムリスクのミニマックスレートは、$\Omega\left(\frac{k^2 \alpha_N^2}{N}\right)$ と特定され、ここで $k$ はブロックランク、$\alpha_N$ はスパarsityを制御する。
• 組み合わせ的罰則付き最尤推定器がこのミニマックスレートを達成できることを示し、統計的最適性が達成可能であることを証明した。
• プラント・クリーク問題が計算的に困難であるという仮定のもとで、任意の多項式時間アルゴリズムはミニマックスレートに到達できないことが示され、計算下界を確立した。
• ミニマックスレートは、任意の確率的多項式時間アルゴリズムでも達成できないため、根本的な統計的・計算的トレードオフが存在することが示された。
• 下界技術は一般化線形モデルへ拡張可能であり、このようなトレードオフが高次元ネットワークモデルにおいて広範に見られる可能性を示唆している。
• 結果から、元の問題が統計的に困難である限り、追加の低ランク構造を課しても計算上の利点は得られないことが示唆された。