[論文レビュー] Decoupling Weighing and Selecting for Integrating Multiple Graph Pre-training Tasks

Tianyu Fan, Lirong Wu+5 more|ArXiv.org|Mar 3, 2024

Multi-Criteria Decision MakingDecision Sciences被引用数 3

ひとこと要約

本稿では、複数のグラフ事前学習タスクを統合するための、タスク選択と重み付けを分離するインスタンスレベルのフレームワークWAS（Weigh and Select）を提案する。デカップリングされたシames型ネットワークを用いることで、WASは最適なタスク組み合わせとインスタンス固有の重みを自己適応的に学習し、タスクプールが拡大するにつれて一貫した向上を示しながら、16のグラフデータセットで最先端の性能を達成する。

ABSTRACT

Recent years have witnessed the great success of graph pre-training for graph representation learning. With hundreds of graph pre-training tasks proposed, integrating knowledge acquired from multiple pre-training tasks has become a popular research topic. In this paper, we identify two important collaborative processes for this topic: (1) select: how to select an optimal task combination from a given task pool based on their compatibility, and (2) weigh: how to weigh the selected tasks based on their importance. While there currently has been a lot of work focused on weighing, comparatively little effort has been devoted to selecting. This paper proposes a novel instance-level framework for integrating multiple graph pre-training tasks, Weigh And Select (WAS), where the two collaborative processes, weighing and selecting, are combined by decoupled siamese networks. Specifically, it first adaptively learns an optimal combination of tasks for each instance from a given task pool, based on which a customized instance-level task weighing strategy is learned. Extensive experiments on 16 graph datasets across node-level and graph-level downstream tasks have demonstrated that by combining a few simple but classical tasks, WAS can achieve comparable performance to other leading counterparts. The code is available at https://github.com/TianyuFan0504/WAS.

研究の動機と目的

• タスク重み付けにのみ注目する既存手法の欠陥、すなわちタスクの相性（コン patibility）と選択の無視を是正すること。
• マルチタスクグラフ事前学習において、タスク選択（相性）とタスク重み付け（重要性）を分離することの必要性を調査すること。
• 下流インスタンスごとにカスタマイズされたタスク選択と重み付けを統合するフレームワークを構築し、表現学習を向上させること。
• ノードレベルおよびグラフレベルの下流タスク、特に未十分に調査されてきたグラフレベルベンチマークに対しても、提案手法の有効性を実証すること。
• タスクプールが拡大するにつれて性能が一貫して向上することを示し、先行手法が飽和または低下するのとは対照的に、WASは継続的な向上を示す。

提案手法

• タスク選択とタスク重み付けのプロセスを別々にモデル化するため、デカップリングされたシames型ネットワークアーキテクチャを提案する。
• インスタンス固有のタスク組み合わせ確率を生成するため、学習可能な投影（MLP）を備えた選択ヘッドを用いる。
• インスタンスレベルのタスク重要性重みを予測する重み付けヘッドを用い、再重み付けにより合計が1になるように保証する。
• グラフ表現におけるコントラスト学習目的関数を用いて、フレームワークをエンドツーエンドで訓練する。
• AttrMask, ContextPred, EdgePred, GraphCL などの古典的タスクを統合的かつ適応的に統合する。
• 事前学習段階でこのフレームワークを適用し、インスタンスに応じた動的タスク組み合わせと重み付けを可能にする。

実験結果

リサーチクエスチョン

• RQ1 タスク選択と重み付けを分離することで、マルチタスクグラフ事前学習における性能向上が達成できるか？
• RQ2 複数の事前学習タスクを組み合わせる際、タスクの相性が性能に与える影響は何か？ そして、その相性は効果的にモデル化可能か？
• RQ3 インスタンスレベルでのタスク選択と重み付けのカスタマイズは、グローバルまたは固定戦略に比べて、より優れた下流性能をもたらすか？
• RQ4 事前学習タスクプールの数が増加するにつれて、この手法の性能はどのようにスケーリングするか？
• RQ5 高い性能を達成するために、選択と重み付けのどちらの寄与がより大きいのか？

主な発見

• WASは16のグラフデータセットで最先端の性能を達成し、BACEでは平均ROC-AUCが80.7%を記録し、すべてのベースラインを上回る。
• タスクプールが拡大するにつれて性能が一貫して向上し、WASは10個以上のタスクでも向上を示すが、AGSSLは飽和する。
• アブレーションスタディにより、重要度ベースの選択はランダム選択よりも劣ることが確認され、相性の問題を別個に取り扱う必要があることが証明された。
• 選択モジュール内の投影ヘッド（MLP）を削除すると性能が低下し、これは選択と重み付けの分離に果たす役割を強調する。
• 選択後に再重み付けを行うことが不可欠である。これを行わない場合、重みの合計が正規化されず、性能が低下する。
• 可視化により、異なるインスタンスが異なるタスク組み合わせ（例：IG, AM, GraphLoG）を選択していることが確認され、モデルがインスタンス固有の戦略を学習できていることが裏付けられた。