[論文レビュー] Structured Sequence Modeling with Graph Convolutional Recurrent Networks

Youngjoo Seo, Michaël Defferrard+2 more|arXiv (Cornell University)|Dec 22, 2016

Advanced Graph Neural Networks参考文献 18被引用数 48

ひとこと要約

本稿では、任意のグラフ上の空間的依存関係を捉えるためのグラフ畳み込みネットワーク（GCN）と、時間的ダイナミクスをモデル化するための再帰ニューラルネットワーク（RNN）を組み合わせた深層学習モデル、グラフ畳み込み再帰ネットワーク（GCRN）を提案する。本手法は、グラフ構造の空間的情報と順序的な時間的パターンを統合的に活用することで、予測精度と学習速度を向上させ、特にドロップアウト正則化下でも顕著な訓練効率と一般化性能の向上を示し、動画予測および自然言語モデリングタスクで最先端の結果を達成した。

ABSTRACT

This paper introduces Graph Convolutional Recurrent Network (GCRN), a deep learning model able to predict structured sequences of data. Precisely, GCRN is a generalization of classical recurrent neural networks (RNN) to data structured by an arbitrary graph. Such structured sequences can represent series of frames in videos, spatio-temporal measurements on a network of sensors, or random walks on a vocabulary graph for natural language modeling. The proposed model combines convolutional neural networks (CNN) on graphs to identify spatial structures and RNN to find dynamic patterns. We study two possible architectures of GCRN, and apply the models to two practical problems: predicting moving MNIST data, and modeling natural language with the Penn Treebank dataset. Experiments show that exploiting simultaneously graph spatial and dynamic information about data can improve both precision and learning speed.

研究の動機と目的

• データポイントが任意のグラフトポロジーで接続されている構造的シーケンスをモデル化できる深層学習フレームワークの開発。
• グラフ畳み込みネットワーク（GCN）と再帰ネットワーク（RNN）を統合し、時間変動するグラフ構造データにおける空間的および時間的依存関係を同時に捉えること。
• グラフに起因する誘導的バイアスを活用することで、シーケンスモデリングタスクにおける学習効率と一般化性能の向上。
• 動画予測および自然言語モデリングを含む多様な応用分野において、性能と訓練ダイナミクスに注目してモデルの評価。

提案手法

• GCRNモデルは、各時刻におけるグラフ構造データから空間的特徴を抽出するためにグラフ畳み込みネットワーク（GCN）を用い、Kホップ以内のノードからの情報集約をサポート長Kのスペクトルフィルタによって実現する。
• 2つのアーキテクチャを提案：モデル1はGCN層とRNN層を逐次スタックする構成であり、モデル2はRNN内の全結合演算を2次元畳み込み（convLSTMスタイル）に置き換えることで、空間的・時間的特徴の統合的学習を実現する。
• 不変スペクトルフィルタをグラフに適用し、回転不変性を備えつつ、従来の2次元フィルターよりも少ないパラメータ数で、不規則なグリッド上での効率的な特徴学習を可能にする。
• 自然言語モデリングでは、語彙グラフ上に語をノードとして埋め込み、このグラフ構造上でRNNを用いて動的表現を学習する。
• 過学習を防ぐためにドロップアウト正則化を適用し、特にGCRN-M1バージョンでは、単独のLSTMに比べて一般化性能が向上している。
• RNN部におけるLSTMまたはGRUユニットを相互に交換可能にすることで、長距離依存関係の柔軟なモデリングが可能となる。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みネットワークは、センサーネットワークや言語グラフなど、グリッドでない構造のデータにおける空間的依存関係を効果的にモデル化できるか？
• RQ2 GCNとRNNを組み合わせることで、単独のRNNやCNN-RNNハイブリッドと比較して、シーケンス予測性能がどのように向上するか？
• RQ3 グラフ構造に起因する誘導的バイアスを組み込むことで、シーケンスモデリングタスクにおける学習速度と一般化性能が向上するか？
• RQ4 より複雑なアーキテクチャを有するモデル2が、言語モデリングにおいてモデル1を上回らないのはなぜか？
• RQ5 グラフベースの誘導的バイアスは、データが限られた状況下でもRNNの訓練を安定化させ、過学習を緩和するか、その程度はどの程度か？

主な発見

• ドロップアウト正則化を適用した場合、GCRN-M1はペーン・ツリー・バンクデータセットでテストパープレキシティ98.67を達成し、同一条件下での単独LSTM（112.98）を上回った。
• ドロップアウトなしでは、GCRN-M1のパープレキシティは177.14と高く、単独LSTM（120.16）よりも高くなった。これは、グラフ誘導的バイアスのみでは正則化がなければ過学習を引き起こす可能性があることを示している。
• グラフ構造情報の活用により学習速度が顕著に向上し、GCRN-M1は1ホット入力のベースラインZaremba et al. (2014)モデルに比べて114.29倍速く学習が完了した。
• パープレキシティと学習速度の両面で、モデル1（GCRN-M1）がモデル2を上回った。これは、この設定下ではGCNとRNN層をスタックするアプローチが、RNNユニットを畳み込みに置き換える手法よりも効果的であることを示している。
• 不変グラフフィルタは、2次元フィルターよりもはるかに少ないパラメータ数で、画像データ上でも空間的パターンを効率的に捉えることができ、その有効性を示した。
• グラフ構造が正則化制約として機能し、過学習を軽減し、特にドロップアウトと組み合わせた場合の一般化性能を向上させた。