[論文レビュー] Online Similarity Prediction of Networked Data from Known and Unknown Graphs

Claudio Gentile, Mark Herbster+1 more|arXiv (Cornell University)|Feb 28, 2013

Advanced Bandit Algorithms Research参考文献 45被引用数 11

ひとこと要約

本稿では、既知のグラフ設定および未知のグラフ設定の両方において、ネットワークデータのオンライン類似度予測アルゴリズムを提案する。多対数時間の予測時間を持つ行列パーセプトロンに基づく手法と、段階的に明らかにされるグラフを対象とする新規アルゴリズムを導入し、各ラウンドあたり2次時間で誤り数の上限を達成することで、進化するネットワークにおける効率的なリアルタイム学習を可能にする。

ABSTRACT

We consider online similarity prediction problems over networked data. We begin by relating this task to the more standard class prediction problem, showing that, given an arbitrary algorithm for class prediction, we can construct an algorithm for similarity prediction with "nearly" the same mistake bound, and vice versa. After noticing that this general construction is computationally infeasible, we target our study to {\em feasible} similarity prediction algorithms on networked data. We initially assume that the network structure is {\em known} to the learner. Here we observe that Matrix Winnow \cite{w07} has a near-optimal mistake guarantee, at the price of cubic prediction time per round. This motivates our effort for an efficient implementation of a Perceptron algorithm with a weaker mistake guarantee but with only poly-logarithmic prediction time. Our focus then turns to the challenging case of networks whose structure is initially {\em unknown} to the learner. In this novel setting, where the network structure is only incrementally revealed, we obtain a mistake-bounded algorithm with a quadratic prediction time per round.

研究の動機と目的

• グラフ構造が既知であるか、段階的に明らかにされる状況下でのネットワークデータにおけるオンライン類似度予測に対処すること。
• 大規模ネットワークにおけるリアルタイム展開を想定した、理論的誤り数の上限を備えた計算効率の良いアルゴリズムの開発。
• 還元を用いてオンライン類似度予測とオンライン頂点分類を結びつけ、性能保証を可能にすること。
• 未知のグラフに対して、ネットワーク構造を探索しながら類似度パターンを学習する新規アルゴリズムの設計。
• 予測効率と誤り数の上限性能の間で、望ましいトレードオフを達成すること。

提案手法

• グラフ構造を表すためにランダムなスパニングツリーを用いて、行列パーセプトロンアルゴリズムをネットワークデータに適応させる。
• クラス所属関係と経路情報の両方を符号化するための基本的なカットセット行列表現を採用する。
• ラベル行列のベクトル化形を用いることで、r-ノルムパーセプトロン学習による線形しきい値予測を可能にする。
• インスタンスベクトルをスパニングツリー内の経路ベクトルから導出する経路ベースの表現を導入する。
• ラベル行列のl1-ノルムとインスタンスベクトルのl∞-ノルムを用いた誤り数の上限解析を適用する。
• 段階的に明らかにされる経路を介して、動的にネットワーク構造を学習する未知のグラフ用の新規アルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 オンライン類似度予測を、最小限の性能損失でオンライン頂点分類に還元できるか？
• RQ2 既知のグラフ設定において、誤り数の上限性能と予測効率の間の計算的トレードオフは何か？
• RQ3 グラフ構造が事前に不明な状況で、どのように効率的に類似度予測を実行できるか？
• RQ4 段階的に構造が明らかにされる未知のグラフ設定で、達成可能な誤り数の上限は何か？
• RQ5 行列ベースのパーセプトロンアルゴリズムは、オンライン類似度予測において、低コストな計算量と理論的保証の両方を達成できるか？

主な発見

• 行列パーセプトロンの適応により、各ラウンドあたり多対数時間の予測時間が達成され、大規模ネットワークへのスケーラビリティが確保される。
• 誤り数の上限が O(||vec(U)||₁² log n) に達し、||vec(U)||₁ はスパニングツリー内の総エッジ数によって有界である。
• 未知のグラフの場合、提案されたアルゴリズムは各ラウンドあたり2次時間で誤り数の上限を達成し、進化するネットワークにおける学習を可能にする。
• カットセット行列表現により類似度ラベルの線形分離性が保証され、標準的なオンライン学習の保証が適用可能になる。
• 理論的解析により、敵対的入力シーケンスに対しても誤り数が有界に保たれることを確認した。
• フレームワークにより、事前に完全なグラフ知識が不要な効率的なオンライン学習が可能となり、リアルタイム展開を支援する。