[論文レビュー] Learning From Graph Neighborhoods Using LSTMs

Rakshit Agrawal, Luca de Alfaro+1 more|arXiv (Cornell University)|Nov 21, 2016

Advanced Graph Neural Networks参考文献 13被引用数 4

ひとこと要約

本稿では、スタックされたLSTMを用いて階層的な木構造のノード近傍を処理することで、グラフ近傍から直接予測表現を学ぶためのマルチレベル長短期記憶ネットワーク（MLSL）を提案する。この手法は、手動で設計された特徴量に依存せずに、多様なタスク—クラウドソーシングによる採点、Bitcoinの支出予測、Wikipediaの編集差し戻し予測—において最先端の性能を達成し、実世界のデータセットにおいてF1スコアでベースラインを最大20%上回った。

ABSTRACT

Many prediction problems can be phrased as inferences over local neighborhoods of graphs. The graph represents the interaction between entities, and the neighborhood of each entity contains information that allows the inferences or predictions. We present an approach for applying machine learning directly to such graph neighborhoods, yielding predicitons for graph nodes on the basis of the structure of their local neighborhood and the features of the nodes in it. Our approach allows predictions to be learned directly from examples, bypassing the step of creating and tuning an inference model or summarizing the neighborhoods via a fixed set of hand-crafted features. The approach is based on a multi-level architecture built from Long Short-Term Memory neural nets (LSTMs); the LSTMs learn how to summarize the neighborhood from data. We demonstrate the effectiveness of the proposed technique on a synthetic example and on real-world data related to crowdsourced grading, Bitcoin transactions, and Wikipedia edit reversions.

研究の動機と目的

• 変数サイズでトポロジカルに複雑なグラフ近傍に機械学習を適用する課題に、手動で設計された特徴量に依存せずに対処すること。
• 局所的なグラフ近傍から構造的および特徴ベースの情報を深さDまで捉える、スケーラブルでエンドツーエンドの学習フレームワークを構築すること。
• 階層的でマルチレベルのアーキテクチャに整理された近傍構造において、LSTMが効果的に要約を行うことができることを示すこと。
• クラウドソーシングによる採点、Bitcoin取引行動、Wikipediaの編集差し戻しを含む、実世界の問題に対してこのアプローチを検証すること。
• ドメイン固有の特徴工学を最小限に抑えた状態で、多様な分野に一般化できることを示すこと。

提案手法

• この手法は、ターゲットノードをルートとし、段階的にターゲットからの距離が増加するように、深さDまでグラフ近傍の木構造的展開を構築する。
• 深さd < Dの各レベルで、子ノードの特徴量を順番に処理する別個のLSTMが、情報の集約を行い、親ノードの要約ベクトルを生成する。
• 各レベルのLSTMアーキテクチャは、データに基づいて個別に訓練され、各レベルに特化した学習能力とハイパーパrameterを設定可能である。
• 最上位レベルのLSTMがターゲットノードの最終予測を出力し、バックプロパゲーションスルータイムを用いて、ネットワーク全体をエンドツーエンドで訓練する。
• 学習中に任意のノード順序をサポートするが、性能は順序に依存する（例：Bitcoinデータでは時系列順序が最適であった）。
• LSTMの逐次的モデリングの強みを活かし、フラット化や固定された特徴要約を伴わずに、構造が可変なグラフ近傍の依存関係を捉える。

実験結果

リサーチクエスチョン

• RQ1 LSTMに基づくディープラーニングアーキテクチャは、ノード予測タスクのため、構造が複雑かつ可変サイズのグラフ近傍を効果的に要約できるか？
• RQ2 グラフ近傍を処理する際、階層的マルチレベルLSTM設計は、平坦なシーケンスベースのLSTMアプローチを上回るか？
• RQ3 MLSLは、ドメイン固有の特徴工学をほとんど行わずに、多様な実世界のグラフ問題に一般化できるか？
• RQ4 近傍探索の深さ（D）が、さまざまなグラフベースのタスクにおける予測性能にどのように影響するか？
• RQ5 ノード順序の設定や学習率スケジューリングなどの、マルチレベルLSTMの学習戦略の中で、どの戦略がグラフ近傍の学習において最も効果的か？

主な発見

• Wikipediaの編集差し戻し予測において、深さ3でF1スコア0.8508を達成し、深さが増すにつれて一貫した改善が見られた。
• Bitcoinの支出予測において、深さ2で「spent」クラスのF1スコアが0.8450、「hoard」クラスが0.6361を記録し、ベースライン（F1: 0.2303）を著しく上回った。
• クラウドソーシングによる採点では、全深さでF1スコアが0.8468～0.8508に達し、明確なラベルパターンを持つ合成データに対して高い頑健性を示した。
• Bitcoinデータでは、学習時のエッジ順序が重要であり、時系列順序が最適であったが、クラウドソーシングによる採点ではランダムシャッフルがより効果的であった。
• Bitcoinデータセットでは、深さ2を超えてLSTM層を増やしても性能向上が得られず、ある深さを超えると収束効果が見られた。
• 各レベルごとに異なる学習率を用いることが不可欠であり、勾配が各レベルを跨いで減少するため、上位レベルのLSTMは下位レベルよりも速く学習した。