[論文レビュー] How to transfer algorithmic reasoning knowledge to learn new algorithms?

Louis-Pascal Xhonneux, Andreea-Ioana Deac+2 more|arXiv (Cornell University)|Oct 26, 2021

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本論文は、実行トレースを伴うグラフアルゴリズムから、同様のアルゴリズムにアルゴリズム的推論知識を転送する方法を調査する。本研究では、ソースおよびターゲットのアルゴリズム間で共有されたモデル重みを用いたマルチタスク学習を提案し、このアプローチが体系的汎化を顕著に向上させることを示している。標準的な転移学習手法は、アルゴリズム的タスク間での重み空間の不整合により失敗するのに対し、本手法はその問題を克服する。

ABSTRACT

Learning to execute algorithms is a fundamental problem that has been widely studied. Prior work~\cite{veli19neural} has shown that to enable systematic generalisation on graph algorithms it is critical to have access to the intermediate steps of the program/algorithm. In many reasoning tasks, where algorithmic-style reasoning is important, we only have access to the input and output examples. Thus, inspired by the success of pre-training on similar tasks or data in Natural Language Processing (NLP) and Computer Vision, we set out to study how we can transfer algorithmic reasoning knowledge. Specifically, we investigate how we can use algorithms for which we have access to the execution trace to learn to solve similar tasks for which we do not. We investigate two major classes of graph algorithms, parallel algorithms such as breadth-first search and Bellman-Ford and sequential greedy algorithms such as Prim and Dijkstra. Due to the fundamental differences between algorithmic reasoning knowledge and feature extractors such as used in Computer Vision or NLP, we hypothesise that standard transfer techniques will not be sufficient to achieve systematic generalisation. To investigate this empirically we create a dataset including 9 algorithms and 3 different graph types. We validate this empirically and show how instead multi-task learning can be used to achieve the transfer of algorithmic reasoning knowledge.

研究の動機と目的

• 中間実行ステップが入手不可な状況におけるアルゴリズム的推論の体系的汎化の課題に対処すること。
• 自然言語処理（NLP）およびコンピュータビジョン（CV）分野で標準的に行われる転移学習手法が、グラフアルゴリズム間でのアルゴリズム的推論知識の転送に有効であるかどうかを調査すること。
• 入力-出力ペアから新しいアルゴリズムを学習する際に、転移学習よりもマルチタスク学習がより効果的なインダクティブバイアスとなるかどうかを評価すること。
• 多様なアルゴリズムタイプとグラフ構造を有する静的グラフ上で、アルゴリズム的推論の転送を評価するベンチマークを確立すること。

提案手法

• 3種類のグラフタイプにまたがる9種類のグラフアルゴリズムを含む、新しいベンチマークデータセットを作成。並列（例：BFS、Bellman-Ford）および逐次的グリーディ（例：Prim、Dijkstra）アルゴリズムを含む。
• 複雑なタスクにおけるアルゴリズムの整合性をサポートする、より表現力の高いエンコーダーを備えたグラフニューラルネットワーク（GNN）を用いる。
• ソースアルゴリズム（実行トレース付き）とターゲットアルゴリズム（トレースなし）の両方で共有重みを強制的に維持するマルチタスク学習により、共有モデルを訓練する。
• トレースがターゲットアルゴリズムに存在しない場合、訓練中に信頼性の高い実行軌道をサンプリングすることでカリキュラム学習を適用する。
• 分布内および分布外の汎化性能を評価するために、マルチタスク学習を標準的な転移学習（ファインチューニングおよび重み固定）と比較する。
• モデルの部分構造がアルゴリズムの部分ステップに対応する意味的なマッピングを保証するため、アルゴリズムの整合性をコアな設計原則とする。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングや重み固定などの標準的転移学習手法が、実行トレース付きのソースアルゴリズムからトレースなしのターゲットアルゴリズムへのアルゴリズム的推論知識の転送を効果的に行えるか。
• RQ2 ソースおよびターゲットアルゴリズム間でモデル重みを共有するマルチタスク学習が、転移学習や単一タスク学習に比べ、体系的汎化を向上させるか。
• RQ3 GNNのアーキテクチャの表現力（例：NE 対 NE++）が、中間監視が欠如している状況で体系的汎化に与える影響は何か。
• RQ4 アルゴリズム構造の類似性（例：PrimとDijkstraにおけるグリーディ選択）が、推論タスクにおけるゼロショット転送のための有効なインダクティブバイアスとして機能する程度は何か。
• RQ5 実行トレースの欠如が学習の安定性と性能に与える影響は何か。また、軌道サンプリングは訓練の信頼性を向上させ得るか。

主な発見

• ファインチューニングや重み固定などの標準的転移学習手法は、ソースとターゲットのアルゴリズムが構造的に類似していても、体系的汎化を向上させない。
• マルチタスク学習は、実行トレースなしのターゲットアルゴリズムにおいて、特により困難な逐次的推論領域（例：Dijkstra、Prim）で体系的汎化を顕著に向上させる。
• モデルの容量が限られている場合でさえ、マルチタスク学習は単一タスク学習や転移学習を上回る性能を示し、アーキテクチャ制約に対して頑健であることが示された。
• マルチタスク学習の成功は、ソースおよびターゲットの両タスクにわたる重みの一般化を強制する共有最適化に起因する。一方、転移学習は最適でない初期重みのため、収束が不十分になりがちである。
• マルチタスクと転移学習の性能差は、特にアルゴリズム構造が複雑で、直接的な重み転送が困難な逐次的推論設定で顕著に現れる。
• 中間監視が可能な状況では、より表現力の高いアーキテクチャ（例：NE++）は体系的汎化を損なう可能性があるが、マルチタスク学習のゼロショット設定では、NE++が単純なモデルを常に上回ることが確認された。