[論文レビュー] Cross-Graph Learning of Multi-Relational Associations

Hanxiao Liu, Yiming Yang|arXiv (Cornell University)|May 6, 2016

Tensor decomposition and applications参考文献 15被引用数 10

ひとこと要約

本論文は、スペクトルグラフ積と低ランク近似を用いて、異種グラフ間の多関係的関係をモデル化する凸的で伝達的（transductive）なフレームワークであるクロスグラフ関係学習（CGRL）を提案する。線形時間計算量とグローバル最適性の保証を備え、DBLPおよびEnzymeデータセットで最先端の性能を達成する。

ABSTRACT

Cross-graph Relational Learning (CGRL) refers to the problem of predicting the strengths or labels of multi-relational tuples of heterogeneous object types, through the joint inference over multiple graphs which specify the internal connections among each type of objects. CGRL is an open challenge in machine learning due to the daunting number of all possible tuples to deal with when the numbers of nodes in multiple graphs are large, and because the labeled training instances are extremely sparse as typical. Existing methods such as tensor factorization or tensor-kernel machines do not work well because of the lack of convex formulation for the optimization of CGRL models, the poor scalability of the algorithms in handling combinatorial numbers of tuples, and/or the non-transductive nature of the learning methods which limits their ability to leverage unlabeled data in training. This paper proposes a novel framework which formulates CGRL as a convex optimization problem, enables transductive learning using both labeled and unlabeled tuples, and offers a scalable algorithm that guarantees the optimal solution and enjoys a linear time complexity with respect to the sizes of input graphs. In our experiments with a subset of DBLP publication records and an Enzyme multi-source dataset, the proposed method successfully scaled to the large cross-graph inference problem, and outperformed other representative approaches significantly.

研究の動機と目的

• 組み合わせ的タプル成長に起因する大規模かつスパースな多関係的学習の課題に取り組む。
• 非凸最適化、スケーラビリティの低さ、伝達的学習の欠如といった、従来のテンソルおよびカーネル手法の限界を克服する。
• CGRLを伝達的で凸的な最適化問題として定式化することで、未ラベル付きデータの有効な活用を可能にする。
• 大規模な推論に適した、線形時間計算量とグローバル最適性の保証を持つスケーラブルなアルゴリズムを開発する。

提案手法

• 異種グラフを統一された同種グラフ構造にマッピングするため、スペクトルグラフ積を用いてCGRLを凸最適化問題として定式化する。
• グラフラプラシアンの低ランク近似を用いて計算コストを低減しつつ、スペクトル情報を保持する。
• グラフ間のタプル類似度をモデル化するために、スペクトルグラフ積の指数関数に基づくカーネル関数を採用する。
• ラベル付きおよびラベルなしタプルを同時に最適化することで一般化性能を向上させる、伝達的学習戦略を適用する。
• グローバル最適解への収束が保証されるミニバッチ化された確率的勾配降下法を用いて、効率的な最適化を実現する。
• 固有システムを入力特徴として統合し、スペクトルエネルギーの80％をカバーする次元数を選択する。

実験結果

リサーチクエスチョン

• RQ1 大規模なグラフに効率的にスケーリングできる凸最適化フレームワークを、クロスグラフ関係学習に設計できるか？
• RQ2 データスパースな多関係的設定において、未ラベル付きタプルを伝達的に効果的に活用することで予測性能を向上させられるか？
• RQ3 異なるスペクトルグラフ積のパrameterizationがモデル性能に与える影響は何か？
• RQ4 テンソル因子分解およびカーネルベースのアプローチと比較して、スケーラビリティと正確性の面で本手法はどのように差をつけるか？
• RQ5 低ランク近似は、計算複雑性を低減しつつも、性能をどれだけ保持できるか？

主な発見

• 提案手法であるTOP（Transductive Optimization for Cross-Graph learning）は、DBLPおよびEnzymeデータセットの全指標（MAP、AUC、Hits@5）で、すべてのベースラインを上回る性能を発揮する。
• DBLPデータセットでは、MAPスコアがランダム推測（0.00072）を著しく上回り、全評価指標で優れた性能を示す。
• Enzymeデータセットでは、MAPスコアがランダム推測（0.014）を著しく上回り、タンパク質-化合物相互作用予測において強力な性能を示す。
• モデルは比較的小さなスペクトルモデルサイズ（例：Enzymeではd₁=150、d₂=159）で最適性能に収束するため、スペクトル特徴の効率的利用が可能である。
• スペクトルグラフ積における指数関数的カーネルパrameterizationが、全実験で平均的に最も優れたパフォーマンスを達成する。
• 入力グラフサイズに対して線形時間計算量を達成しており、大規模な多関係的データに対するスケーラブルな推論を可能にする。