[論文レビュー] Data-Centric Learning from Unlabeled Graphs with Diffusion Model

Gang Liu, Eric Inae+4 more|arXiv (Cornell University)|Mar 17, 2023

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、ラベルなしグラフ上で事前学習された拡散モデルを活用し、グラフ性質予測のためのタスク固有のラベル付きグラフオーキュレーションを生成するデータ中心のフレームワーク、DCTを提案する。逆ノイズ除去プロセスを、ラベルの保持と構造的多様性という2つのタスク固有の目的でガイドすることにより、ラベルなしデータから最小限で十分な知識を転送し、15のタスクにおいて自己教師あり学習およびデータオーキュレーションベースラインを上回る性能を達成する。

ABSTRACT

Graph property prediction tasks are important and numerous. While each task offers a small size of labeled examples, unlabeled graphs have been collected from various sources and at a large scale. A conventional approach is training a model with the unlabeled graphs on self-supervised tasks and then fine-tuning the model on the prediction tasks. However, the self-supervised task knowledge could not be aligned or sometimes conflicted with what the predictions needed. In this paper, we propose to extract the knowledge underlying the large set of unlabeled graphs as a specific set of useful data points to augment each property prediction model. We use a diffusion model to fully utilize the unlabeled graphs and design two new objectives to guide the model's denoising process with each task's labeled data to generate task-specific graph examples and their labels. Experiments demonstrate that our data-centric approach performs significantly better than fifteen existing various methods on fifteen tasks. The performance improvement brought by unlabeled data is visible as the generated labeled examples unlike the self-supervised learning.

研究の動機と目的

• 自己教師あり事前学習の目的と下流のグラフ性質予測タスクとの間にある不一致を解消すること。これは、しばしば最適でない知識転送を引き起こす。
• 特定の予測タスクにおいて関係のない構造的モチーフ（例：芳香族環）に過剰適合するなど、グラフにおける自己教師あり学習の限界を克服すること。
• 固定で普遍的な自己教師あり目的に依存せず、大規模なラベルなしグラフデータから、最小限でタスクに特化した知識を抽出することで、その有効な活用を図ること。
• 解釈可能な合成ラベル付きグラフを生成するデータ中心のアプローチを開発し、トレーニングデータの拡張によりモデルの一般化性能と性能を向上させること。
• モデルパラメータに基づく知識転送を避けて、データレベルのオーキュレーションにより、任意のGNNアーキテクチャへの柔軟な統合を可能にすること。

提案手法

• 大規模なラベルなしグラフの集合上でスコアベースの拡散モデルを学習させ、元のデータ分布を学習する。
• 推論段階では、ターゲットタスクのラベル付きグラフを少しだけノイズを加えることで、逆ノイズ除去プロセスを開始する。
• スコア関数に2つのタスク固有の目的を導入する：(1) 分類器ヘッドを用いて元のグラフの予測ラベルを保持し、(2) 元のグラフとの類似度を最小化することで多様性を最大化する。
• ガイドされたスコア関数を用いて、構造的に多様でありながらターゲットタスクと意味的に整合性を持つ新しい合成ラベル付きグラフを生成する。
• これらの生成されたグラフを下流のトレーニングセットに加えることで、任意のグラフ性質予測器の性能を向上させる。
• 生成された例が解釈可能であり、ラベルなしデータからの最小限で十分な知識を保持していることを保証し、解釈不能なパrameter更新を回避する。

(a) Existing approach : Knowledge from self-supervised tasks could not be aligned or even conflict with what predictions need. Parameter initialization could hardly interpret how unlabeled graphs were or would be able to improve the models, leading to high prediction errors.

実験結果

リサーチクエスチョン

• RQ1 自己教師あり事前学習に依存せずに、ラベルなしグラフからの知識を下流のグラフ性質予測タスクに効果的に転送できるか？
• RQ2 タスク固有の目的で拡散モデルの逆プロセスをガイドすることで、標準的な自己教師あり学習やデータオーキュレーション手法よりも優れた一般化性能が得られるか？
• RQ3 生成された合成グラフは、解釈可能性を保ちつつ、下流タスクの意味論と矛盾しない形でモデル性能を向上させられるか？
• RQ4 自己教師あり学習や自己トレーニングと比較して、本フレームワークの性能とデータ利用効率はどのように異なるか？
• RQ5 最小限のラベル付きデータで、多様なグラフ性質予測タスクに本フレームワークがどの程度一般化可能か？

主な発見

• 提案されたDCTフレームワークは、15の異なるグラフ性質予測タスクにおいて、自己教師あり学習およびグラフデータオーキュレーションを含む15の既存手法を顕著に上回る性能を達成する。
• ラベルなしデータからのパフォーマンス向上は、自己教師あり学習における解釈不能なパrameter更新とは異なり、生成された合成グラフを通じて明確で解釈可能な形で観察できる。
• 複数のデータセットにわたり一貫した向上が得られ、異なるグラフ構造や性質タイプに対しても頑健であることが示された。
• ラベル保持と構造的多様性の2段階目的は、ターゲットタスクへの忠実度と未学習のグラフへの一般化の両立を効果的に実現している。
• 本フレームワークは、モデルパラメータを変更せずデータレベルで動作するため、任意のGNNアーキテクチャへの柔軟な統合が可能である。
• 自己教師あり目的が下流タスクと不一致である場合、パラメータベースの転送よりもデータオーキュレーションによる知識転送がより効果的であることが結果から示された。

(b) Data-centric approach : Target knowledge in labeled graphs guides the denoising process in diffusion model to generate new labeled examples close to the target graph space instead of the unlabeled graph space. The augmented knowledge for the prediction model is visible as graphs.