[論文レビュー] Relational Similarity Machines

Ryan A. Rossi, Rong Zhou+1 more|arXiv (Cornell University)|Aug 2, 2016

Advanced Graph Neural Networks参考文献 29被引用数 7

ひとこと要約

本論文は、関係データにおける教師ありおよび半教師あり学習のための高速でスケーラブルかつ柔軟なフレームワークである関係的類似度マシン（RSM）を紹介する。RSMは類似度ベースの学習を活用し、多クラス、スパースラベル、低自己相関ネットワークにおいても高い精度で処理可能であり、効率的で並列化可能な更新により、リアルタイム推論とインタラクティブな学習を可能にする。

ABSTRACT

This paper proposes Relational Similarity Machines (RSM): a fast, accurate, and flexible relational learning framework for supervised and semi-supervised learning tasks. Despite the importance of relational learning, most existing methods are hard to adapt to different settings, due to issues with efficiency, scalability, accuracy, and flexibility for handling a wide variety of classification problems, data, constraints, and tasks. For instance, many existing methods perform poorly for multi-class classification problems, graphs that are sparsely labeled or network data with low relational autocorrelation. In contrast, the proposed relational learning framework is designed to be (i) fast for learning and inference at real-time interactive rates, and (ii) flexible for a variety of learning settings (multi-class problems), constraints (few labeled instances), and application domains. The experiments demonstrate the effectiveness of RSM for a variety of tasks and data.

研究の動機と目的

• 従来の関係的機械学習手法が低関係的自己相関、スパースラベル、ノイズが多いまたは属性付きのネットワークを処理する際の限界を克服すること。
• 多様な関係的データタイプと制約にわたる教師ありおよび半教師あり学習を両立できる統合的で柔軟なフレームワークの開発。
• ストリーミングまたは動的グラフ上で、高速で局所的な更新と効率的な推論を可能にすることで、リアルタイムでインタラクティブな機械学習を実現すること。
• 少数のラベル付きインスタンス、不均衡なクラス分布、さまざまなレベルの関係的構造を有するデータに対して耐性を持つこと。
• 類似度関数、正規化方式、集合的推論戦略といったコンponentが相互に交換可能でチューニング可能なモジュラーなシステムの設計

提案手法

• RSMは、学習可能なまたはユーザーが調整可能な類似度関数を用いてノード間の類似度を最大化する原則に基づいて構築されており、グラフ全体にわたるラベル情報の効果的な伝搬を可能にする。
• 特徴量とグラフ構造に基づく類似度スコアを計算することで、関係的依存関係をモデル化し、ノード分類およびリンク分類の両方をサポートする。
• 学習および推論は、スパース行列における非ゼロ要素の数に線形に依存し、1つのテストインスタンスあたりO(|Ω_X|)の時間計算量を達成する。これによりリアルタイム性能が実現される。
• RSMは、類似度ベースのラベル伝搬を繰り返し適用することで集合的推論を実現しており、n個のテストノードとk個のクラスを想定した空間計算量はO(nk)である。
• システムは非常に並列化可能であり、共有メモリおよび分散メモリアーキテクチャでほぼ線形のスルーブプット向上を示し、動的グラフにおけるロックフリーでスケーラブルな更新をサポートする。
• インタラクティブな可視化および分析コンponentsを統合しており、ユーザーがハイパーパrameter（例：カーネルタイプ、正規化方式）をチューニングし、リアルタイムでモデルを再構成可能である

実験結果

リサーチクエスチョン

• RQ1 従来の手法が失敗する低もしくは中程度の関係的自己相関を持つネットワークにおいて、関係的学習フレームワークは高い精度と効率を維持できるか？
• RQ2 統合的フレームワークは、属性付き、異種、ストリーミンググラフを含む多様なデータタイプにおいて、教師ありおよび半教師あり学習をどのように両立できるか？
• RQ3 類似度ベースの学習は、大規模ネットワークにおけるリアルタイムでインタラクティブな機械学習を実現するために、どの程度スケーラブルかつ並列化可能になるか？
• RQ4 ラベル密度が0.01未満という極端なデータスパarsityに対しても、性能劣化なしに処理できるか？
• RQ5 完全再トレーニングなしに、ノードやリンクの変更後の局所的でインクリメンタルな更新によって、システムはどの程度ユーザーの操作に適応できるか？

主な発見

• RSMは、時間的・空間的制約が同等の条件下で、従来手法よりも顕著に高い予測精度を達成しており、特に低自己相関およびスパースラベル設定で顕著である。
• フレームワークは、1テストインスタンスあたりO(|Ω_X|)の時間計算量を実現しており、ストリーミングおよびインタラクティブなアプリケーションに適している。
• 並列アーキテクチャ上でのRSMは、ほぼ線形のスルーブプット向上を示し、共有メモリおよび分散メモリシステムへの効率的スケーリングを可能にする。
• ラベル密度が0.01未満で不均衡なクラス分布がある状況でも、高い性能を維持しており、標準的なiidおよび関係的学習手法を上回る。
• ノードやリンクの変更後の局所的更新により、高速で正確または近似された再計算が可能となり、シームレスなリアルタイム探索と相互作用が実現される。
• ハイパーパrameterの調整により、非関係的iidモデルからトポロジーアウェアおよびハイブリッドモデルまで、広範な分類器に一般化可能である