[論文レビュー] Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks

Sadegh Mahdavi, Kevin Swersky+4 more|arXiv (Cornell University)|Nov 1, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

この論文は、CLRSベンチマークにおける独自の課題を特定し、入力分布シフトの修正を提案するとともに、30のアルゴリズム的タスクにおいてSOTAを3%上回るOOD一般化性能を実現する注目メカニズムを備えた2-WLグラフニューラルネットワークプロセッサを導入することで、ニューラルアルゴリズミック推論における分布外（OOD）一般化を改善する。

ABSTRACT

In this paper, we study the OOD generalization of neural algorithmic reasoning tasks, where the goal is to learn an algorithm (e.g., sorting, breadth-first search, and depth-first search) from input-output pairs using deep neural networks. First, we argue that OOD generalization in this setting is significantly different than common OOD settings. For example, some phenomena in OOD generalization of image classifications such as \emph{accuracy on the line} are not observed here, and techniques such as data augmentation methods do not help as assumptions underlying many augmentation techniques are often violated. Second, we analyze the main challenges (e.g., input distribution shift, non-representative data generation, and uninformative validation metrics) of the current leading benchmark, i.e., CLRS \citep{deepmind2021clrs}, which contains 30 algorithmic reasoning tasks. We propose several solutions, including a simple-yet-effective fix to the input distribution shift and improved data generation. Finally, we propose an attention-based 2WL-graph neural network (GNN) processor which complements message-passing GNNs so their combination outperforms the state-of-the-art model by a 3% margin averaged over all algorithms. Our code is available at: \url{https://github.com/smahdavi4/clrs}.

研究の動機と目的

• 標準的なビジョンベースのOOD設定とは異なる、ニューラルアルゴリズミック推論におけるOOD一般化の独自の課題を調査すること。
• 入力分布シフト、代表的でないデータ生成、誤った分布内検証指標といったCLRSベンチマークにおける主な問題を同定すること。
• 強化されたデータ分布、入力表現の修正、新規GNNアーキテクチャを用いてOOD一般化を向上させること。
• メッセージパッシングGNNと注目メカニズムを備えた2-WLプロセッサを組み合わせたハイブリッドモデルを構築し、未観測のグラフサイズにおいて性能を向上させること。
• 30のアルゴリズム的推論タスクにおいて、SOTAのOOD一般化性能を達成すること。平均正解率は74.33%。

提案手法

• アルゴリズミック不変性をよりよく反映するよう入力表現を変更することで、入力分布シフトに簡単かつ効果的な修正を提案する。
• 分布内訓練データセットを拡大し、OOD一般化の限界を押し広げ、モデルの頑健性を向上させる。
• 標準的なメッセージパッシングGNNを超える表現力を有する注目メカニズムを備えた2-WLグラフニューラルネットワークプロセッサを設計する。
• 注目メカニズムを備えた2-WLプロセッサとメッセージパッシングGNNを組み合わせ、SOTAを上回るハイブリッドアーキテクチャを構築する。
• 中間のアルゴリズム的ステップからのヒントを追加の監視信号として用い、段階的推論の学習を支援する。
• ノード、エッジ、グラフレベルの特徴を備えたグラフ構造入力に対して、30タスクすべてに統一されたフレームワークを用いてエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアルゴリズミック推論におけるOOD一般化のダイナミクスは、標準的な画像分類のOOD設定とどのように異なるか？
• RQ2 CLRSベンチマークにおけるOOD一般化の劣化の主な原因は何か。特にデータ分布と検証指標の観点から。
• RQ3 アーキテクチャ的または表現レベルの修正によって、入力分布シフトは効果的に緩和可能か？
• RQ4 メッセージパッシングGNNと組み合わせた注目メカニズムを備えた2-WL GNNプロセッサは、どの程度OOD一般化を向上させ得るか？
• RQ5 改善されたデータ生成とモデル選択戦略は、より信頼性のあるOOD性能推定とより良い一般化をもたらすか？

主な発見

• CLRSベンチマークは、標準的なビジョンベンチマークには見られない独自のOOD課題を示しており、入力分布シフトや代表的でないデータ生成が含まれる。
• 分布内検証指標はほぼ完璧な水準にあり、OOD性能の予測には信頼性が欠ける。
• 入力分布シフトに対する単純な修正が、特に大きなグラフサイズにおいてOOD一般化を顕著に向上させる。
• 提案された注目メカニズムを備えた2-WL GNNプロセッサは、30のアルゴリズム的タスクの平均でSOTAモデルを3%上回る性能を達成した。
• ハイブリッドモデルは、すべてのアルゴリズムの平均でOODテスト正解率74.33%を達成し、未観測のグラフサイズへの強い一般化能力を示した。
• 高いOOD正解率を達成したにもかかわらず、特定の1つのベンチマークタスクでは依然として困難を示しており、アルゴリズム的不変性学習のさらなる改善の余地があることが示された。