[論文レビュー] Reinforcement Learning Enhanced Heterogeneous Graph Neural Network.

Zhiqiang Zhong, Cheng–Te Li+1 more|arXiv (Cornell University)|Oct 26, 2020

Advanced Graph Neural Networks参考文献 40被引用数 10

ひとこと要約

本稿では、手作業で設計されたメタパスに依存せずに、異種グラフニューラルネットワークにおける最適なメタパスを自動で学習する強化学習ベースのフレームワーク、RL-HGNNを提案する。メタパスの発見をマルコフ決定過程としてモデル化し、下流タスクの性能に基づいて深層強化学習により方策ネットワークを訓練することで、複雑なHINにおける表現学習を向上させる意味のあるデータ駆動型メタパスを発見する。

ABSTRACT

Heterogeneous Information Networks (HINs), involving a diversity of node types and relation types, are pervasive in many real-world applications. Recently, increasing attention has been paid to heterogeneous graph representation learning (HGRL) which aims to embed rich structural and semantics information in HIN into low-dimensional node representations. To date, most HGRL models rely on manual customisation of meta paths to capture the semantics underlying the given HIN. However, the dependency on the handcrafted meta-paths requires rich domain knowledge which is extremely difficult to obtain for complex and semantic rich HINs. Moreover, strictly defined meta-paths will limit the HGRL's access to more comprehensive information in HINs. To fully unleash the power of HGRL, we present a Reinforcement Learning enhanced Heterogeneous Graph Neural Network (RL-HGNN), to design different meta-paths for the nodes in a HIN. Specifically, RL-HGNN models the meta-path design process as a Markov Decision Process and uses a policy network to adaptively design a meta-path for each node to learn its effective representations. The policy network is trained with deep reinforcement learning by exploiting the performance of the model on a downstream task. We further propose an extension, RL-HGNN++, to ameliorate the meta-path design procedure and accelerate the training process. Experimental results demonstrate the effectiveness of RL-HGNN, and reveals that it can identify meaningful meta-paths that would have been ignored by human knowledge.

研究の動機と目的

• 異種グラフ表現学習（HGRL）における手作業によるメタパス設計の制限を解消すること。これは、広範なドメイン知識を要する。
• 事前に定義されたメタパスの硬直性がHIN内での包括的な構造的・意味的情報を制限するのを克服すること。
• 下流タスクの性能を向上させるエンドツーエンドで適応可能なメタパス発見手法を開発すること。
• 人間の専門家が見過ごしがちな意味のあるメタパスを自動的かつデータ駆動で発見できるようにすること。

提案手法

• メタパス設計プロセスを、選択される近隣ノードタイプのシーケンスに対応するアクションを有するマルコフ決定過程（MDP）としてモデル化する。
• 現在のHINの状態とノードの局所的近傍を基に、ノード固有のメタパスを生成する方策ネットワークを採用する。
• 下流予測タスクにおけるHGNNの性能から得られる報酬信号を用いて、方策ネットワークを深層強化学習で訓練する。
• 構造的およびトレーニング上の改善を通じて、トレーニング効率とメタパス設計の質を向上させるRL-HGNN++を拡張として導入する。
• 動的に学習されたメタパスに沿って表現を集約するために、アテンション機構とグラフ畳み込み層を活用する。
• エンドタスクの性能フィードバックに基づいて、メタパス生成方策を最適化するためのポリシー勾配法を活用する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、異種情報ネットワークにおける意味のあるメタパスの自動発見に効果的に機能するか？
• RQ2 RL-HGNNの性能は、手作業で設計されたメタパスに依存する既存のHGRLモデルと比べてどうか？
• RQ3 RL-HGNNが発見するメタパスは、どのようなものか？人間が設計したものと比較して意味的に解釈可能で意味のあるものか？
• RQ4 提案手法は、ノードおよび関係タイプの種類が異なる多様なHINに一般化可能か？
• RQ5 RL-HGNN++バージョンは、ベースラインのRL-HGNNと比較して、トレーニング速度と収束速度を顕著に改善するか？

主な発見

• RL-HGNNは、手作業で設計されたメタパスを用いた最先端のHGRLモデルと比較して、下流のノード分類およびリンク予測タスクで優れた性能を達成した。
• モデルは意味的に意味のあるメタパスを発見しており、人間の専門家が見過ごしがちな場合が多い。これは、隠れた構造的パターンを同定できる能力を示している。
• RL-HGNN++は、ベースラインモデルと同等またはそれ以上の性能を維持しながら、トレーニング時間を短縮し収束速度を向上させた。
• 方策ネットワークは、個々のノードに適した多様で文脈に即したメタパスを効果的に生成する能力を学習し、表現品質を向上させた。
• 実験により、下流タスクの正答率に基づく強化学習信号が、高品質なメタパスの発見を効果的に導くことが示された。
• フレームワークは、ノードおよび関係タイプの構造的・意味的変動に強いことから、多数の実世界の異種ネットワークに良好に一般化されることを示した。