[論文レビュー] The CLRS Algorithmic Reasoning Benchmark

Petar Veličković, Adrià Puigdomènech Badia+6 more|arXiv (Cornell University)|May 31, 2022

AI-based Problem Solving and Planning被引用数 5

ひとこと要約

本稿では、CLRSの『アルゴリズムイントロダクション』に収録された30の古典的アルゴリズムを網羅的にカバーするCLRS-30を紹介する。このベンチマークは、学習および評価のための入出力トレースに加え、中間の「ヒント」状態を含む。分布外一般化（OOD）における複数のニューラルネットワークアーキテクチャの性能を評価した結果、グラフニューラルネットワーク（GNN）（特にPGN）が他のモデルを上回ったが、最良のモデルですらOOD一般化において約51%のマイクロ-F1を達成にとどまり、分布外シフトを越えたアルゴリズム的推論における顕著な課題が浮き彫りになった。

ABSTRACT

Learning representations of algorithms is an emerging area of machine learning, seeking to bridge concepts from neural networks with classical algorithms. Several important works have investigated whether neural networks can effectively reason like algorithms, typically by learning to execute them. The common trend in the area, however, is to generate targeted kinds of algorithmic data to evaluate specific hypotheses, making results hard to transfer across publications, and increasing the barrier of entry. To consolidate progress and work towards unified evaluation, we propose the CLRS Algorithmic Reasoning Benchmark, covering classical algorithms from the Introduction to Algorithms textbook. Our benchmark spans a variety of algorithmic reasoning procedures, including sorting, searching, dynamic programming, graph algorithms, string algorithms and geometric algorithms. We perform extensive experiments to demonstrate how several popular algorithmic reasoning baselines perform on these tasks, and consequently, highlight links to several open challenges. Our library is readily available at https://github.com/deepmind/clrs.

研究の動機と目的

• 『アルゴリズムイントロダクション』に収録された古典的アルゴリズムに基づき、標準化され包括的なデータセットを構築することで、散在するアルゴリズム的推論ベンチマークを統一すること。
• 多様なアルゴリズム的推論タスクにおけるニューラルネットワークモデルの分布外一般化性能を評価すること。
• GNN、トランスフォーマー、メモリネットワークなどのアーキテクチャを、アルゴリズム実行および推論の文脈で体系的に比較可能にする。
• 中間の監視情報を含む再利用可能で十分に文書化されたデータセットを提供することで、アルゴリズム的推論研究への参入障壁を低減すること。
• 再帰的、長距離的、文字列照合アルゴリズムにおいて、ニューラルネットワークの一般化に根強く残る課題を特定すること。

提案手法

• ベンチマークは、入力、出力、およびアルゴリズム的ステップを表す中間の「ヒント」状態を含む、30の古典的アルゴリズムのトレースを構築する。
• 各アルゴリズムは、操作のシーケンスとしてエンコードされ、モデルの入力として使用可能なテンソル形式で入力と出力をフォーマットする。
• データセットは、分布内および分布外（OOD）評価をサポートしており、OODテストセットでは学習時よりも大きな入力サイズが使用される。
• モデルは学習分割で訓練され、OOD一般化の評価が行われ、性能は予測タスクにおけるマイクロ-F1スコアで測定される。
• さまざまなアーキテクチャが評価対象となる：Deep Sets、GAT、メモリネットワーク、MPNN、PGN。これにより、モデル間の比較が可能になる。
• アルゴリズム固有のインダクティブバイアス（例：グラフアルゴリズムにはグラフ構造、文字列処理にはシーケンスモデリング）がベンチマークに組み込まれている。

実験結果

リサーチクエスチョン

• RQ1 現代のニューラルネットワークアーキテクチャは、アルゴリズム的推論タスクにおいて、分布外入力に対してどの程度一般化できるか？
• RQ2 グラフアテンションやメモリネットワークなどのアーキテクチャ的インダクティブバイアスは、古典的アルゴリズムの構造とどの程度整合するか？
• RQ3 あるアルゴリズムで訓練されたモデルは、共通のサブルーチンを持つ関連アルゴリズムにどの程度一般化できるか？
• RQ4 なぜ特定のモデルは、クイックソートやDFSのような再帰的・長距離的推論タスクで失敗するのか？
• RQ5 中間の監視（ヒント）は、モデルの性能と学習効率にどのような影響を及えるか？

主な発見

• PGNモデルが50.84%の最高のOODマイクロ-F1スコアを達成し、他のアーキテクチャを顕著に上回った。
• MPNNは大きなグラフにおいては性能が低く、分布内性能は優れていたものの、OOD一般化能力に限界が見られた。
• メモリネットワークとDeep Setsは、特にソーティングおよび文字列照合タスクで困難を示し、F1スコアが15%未満にとどまった。
• GNNベースのモデル（PGN、GAT）は、非GNNベースラインを一貫して上回り、特にグラフおよび動的計画法タスクで優れた性能を示した。
• 文字列照合アルゴリズム（例：KMP）は依然として極めて困難であり、すべてのモデルがマイクロ-F1スコア3.5%未満にとどまり、特化したインダクティブバイアスの必要性が示された。
• 最良のモデルですらOOD一般化において約51%のマイクロ-F1にとどまり、アルゴリズム的推論における一般化の大きなギャップが明らかになった。