[論文レビュー] Graph Learning and Its Advancements on Large Language Models: A Holistic Survey

Shaopeng Wei, Wang, Jun+7 more|arXiv (Cornell University)|Dec 17, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本サーベイは、大規模言語モデル（LLMs）と統合されたグラフ学習の進展を包括的かつ包括的にレビューし、ノード、エッジ、トポロジーなどのグラフ構造要素に基づく分類法を提案。手法、応用、課題を分析。LLMsがグラフ表現学習を向上させることと、グラフ学習がLLMの推論を強化することの双方を強調。特に知識グラフ統合とリtrieval増強生成（RAG）を通じた連携が顕著。

ABSTRACT

Graph learning is a prevalent domain that endeavors to learn the intricate relationships among nodes and the topological structure of graphs. Over the years, graph learning has transcended from graph theory to graph data mining. With the advent of representation learning, it has attained remarkable performance in diverse scenarios. Owing to its extensive application prospects, graph learning attracts copious attention. While some researchers have accomplished impressive surveys on graph learning, they failed to connect related objectives, methods, and applications in a more coherent way. As a result, they did not encompass current ample scenarios and challenging problems due to the rapid expansion of graph learning. Particularly, large language models have recently had a disruptive effect on human life, but they also show relative weakness in structured scenarios. The question of how to make these models more powerful with graph learning remains open. Our survey focuses on the most recent advancements in integrating graph learning with pre-trained language models, specifically emphasizing their application within the domain of large language models. Different from previous surveys on graph learning, we provide a holistic review that analyzes current works from the perspective of graph structure, and discusses the latest applications, trends, and challenges in graph learning. Specifically, we commence by proposing a taxonomy and then summarize the methods employed in graph learning. We then provide a detailed elucidation of mainstream applications. Finally, we propose future directions.

研究の動機と目的

• グラフ学習と大規模言語モデル（LLMs）を統合的に統合した包括的かつ最新のサーベイが不足している現状を是正するため。
• ノード、エッジ、グラフトポロジーなどの構造的要素に焦点を当てた、従来手法およびディープラーニングベースの手法を含む、グラフ学習手法の包括的分類法を提供するため。
• LLMsとグラフ学習を統合する最近の進展を分析。特に、知識抽出、推論、および幻覚現象や構造的知識の欠如といったLLMの限界を克服する点に注目。
• 知識グラフ、レコメンデーションシステム、科学的発見など、分野を越えた応用を検討し、公平性、プライバシー、スケーラビリティの分野における主な課題を特定するため。
• 現実世界の構造的状況において、グラフ学習とLLMsの相乗効果を高めるための今後の研究方向性を提示するため。

提案手法

• ノード、エッジ、グラフ構造といった基本的グラフ要素に基づく、グラフ学習手法の新規分類法を提案。従来手法とディープラーニング手法の両方を統合的に視認可能にする。
• グラフ学習手法をエンベッディングおよび非エンベッディング手法に分類。因子分解、ランダムウォーク、GNNやグラフオートエンコーダを含むディープラーニングベースのモデルを含むサブカテゴリを含む。
• 事前学習言語モデル（PLMs）およびLLMsとグラフ学習の統合を分析。主に2つのパラダイムに焦点を当てる：LLMsを知識抽出ツールとして利用する方法、知識グラフをLLMsの拡張に利用する方法。
• 知識グラフを統合したリtrieval増強生成（RAG）やグラフ拡張LLMsといった最近のハイブリッドアーキテクチャをレビュー。事実の整合性および推論能力の向上に寄与。
• グラフ学習における公平性とプライバシーの検討。敵対的バイアス除去、公平性制約、プライバシー保護技術（例：グラフの摂動、NetFense、フェデレーテッドGNN、例：FedPerGNN）を含む。
• 企業知識グラフ、EC、科学的発見、コンピュータビジョンにおける現在の応用を統合。特にマルチモーダルおよび構造的推論タスクに注目。

実験結果

リサーチクエスチョン

• RQ1 LLMsとグラフ学習をどのように体系的に統合することで、LLMsの推論力と事実の整合性を向上させられるか？
• RQ2 LLMsとの効果的な統合を支えるグラフ学習分野の主な手法的進展は何か。特に知識抽出と表現学習の観点から。
• RQ3 グラフ-LLMシステムを導入する際の公平性とプライバシーの主な課題は何か。また、それに対する防御メカニズムは何か。
• RQ4 最近のハイブリッドアーキテクチャ（例：グラフ拡張LLMs、KG統合RAG）は、標準LLMsに比べて、構造的または知識集約的タスクでどのように優れているか？
• RQ5 グラフ学習の新たな応用分野と、大規模言語モデルの時代における今後の研究方向性は何か？

主な発見

• グラフ学習関連の論文数は急増し、2022年にトップカンファレンスで1,115本に達した。これは急速な成長と研究関心の高まりを示している。
• 最近のLLMsとグラフ学習の統合は主に2つのトレンドに分かれる：未構造化テキストからLLMsを用いて構造的知識を抽出する方法、知識グラフを用いてLLMsの推論を強化し幻覚現象を低減する方法。
• GNNにおける公平性は、データレベルのバイアス（例：人種的・性的差別の不均衡）とグラフ構造固有のバイアスの両者によって脅かされている。対策として、敵対的バイアス除去やパーソナライズド公平性制約が提案されている。
• NetFense や FedPerGNN といったプライバシー保護技術は、グラフを摂動させたり分散学習を可能にしたりすることで、GNNに対するプライバシー攻撃を効果的に緩和し、モデルの有用性を維持している。
• グラフ学習手法は、ソーシャルネットワークを越えて、科学的発見、EC、ビジョン分野へも応用が広がっている。主に、表形式またはテキストデータをグラフ構造に変換することで実現されている。
• 進展は見られるが、スケーラビリティ、解釈可能性、一般化性能の面で課題が残っており、特に現実世界の動的かつ多様性のある環境では顕著である。