[논문 리뷰] The CLRS Algorithmic Reasoning Benchmark

Petar Veličković, Adrià Puigdomènech Badia외 6명|arXiv (Cornell University)|2022. 05. 31.

AI-based Problem Solving and Planning인용 수 5

한 줄 요약

이 논문은 CLRS의 '알고리즘 개론'에서 유래한 30개의 고전적 알고리즘을 포함하는 종합적인 벤치마크인 CLRS-30을 소개한다. 이 벤치마크는 훈련 및 평가를 위한 중간 '힌트' 상태를 포함한 입력-출력 트레이젝터리를 제공한다. 분포 외 일반화에 대해 다양한 신경망 아키텍처를 평가한 결과, 그래프 신경망(GNN)이 특히 PGN이 다른 모델들을 압도적으로 앞서나가지만, 최상위 모델들조차도 분포 외 일반화에서 약 51%의 마이크로-F1을 기록할 뿐이며, 이는 분포 이탈 초월한 알고리즘 추론에 있어 여전히 큰 도전 과제가 있음을 시사한다.

ABSTRACT

Learning representations of algorithms is an emerging area of machine learning, seeking to bridge concepts from neural networks with classical algorithms. Several important works have investigated whether neural networks can effectively reason like algorithms, typically by learning to execute them. The common trend in the area, however, is to generate targeted kinds of algorithmic data to evaluate specific hypotheses, making results hard to transfer across publications, and increasing the barrier of entry. To consolidate progress and work towards unified evaluation, we propose the CLRS Algorithmic Reasoning Benchmark, covering classical algorithms from the Introduction to Algorithms textbook. Our benchmark spans a variety of algorithmic reasoning procedures, including sorting, searching, dynamic programming, graph algorithms, string algorithms and geometric algorithms. We perform extensive experiments to demonstrate how several popular algorithmic reasoning baselines perform on these tasks, and consequently, highlight links to several open challenges. Our library is readily available at https://github.com/deepmind/clrs.

연구 동기 및 목표

• 고전적 알고리즘을 기반으로 한 표준화되고 종합적인 데이터셋을 구축하여 산만한 알고리즘 추론 벤치마크를 통합하기 위해.
• 다양한 알고리즘 추론 작업 전반에 걸쳐 신경망 모델의 분포 외 일반화 능력을 평가하기 위해.
• GNN, 트랜스포머, 메모리 네트워크 등의 아키텍처를 알고리즘 실행 및 추론에 대해 체계적으로 비교할 수 있도록 하기 위해.
• 중간 지도 정보를 포함한 재사용 가능하고 잘 문서화된 데이터셋을 제공함으로써 알고리즘 추론 연구의 진입 장벽을 낮추기 위해.
• 특히 재귀적, 장거리, 문자열 매칭 알고리즘에서 지속적인 일반화 문제를 규명하기 위해.

제안 방법

• 벤치마크는 입력, 출력 및 알고리즘 단계를 나타내는 중간 '힌트' 상태를 포함한 30개의 고전적 알고리즘에 대한 트레이젝터리를 구성한다.
• 각 알고리즘은 연산의 시퀀스로 표현되며, 입력과 출력은 모델이 소비할 수 있도록 텐서 형식으로 포맷된다.
• 데이터셋은 분포 내 및 분포 외(OOD) 평가를 모두 지원하며, OOD 테스트 세트는 훈련 세트보다 더 큰 입력 크기를 사용한다.
• 모델들은 훈련 세트에서 훈련되고 OOD 일반화에서 평가되며, 예측 작업의 마이크로-F1 스코어로 성능이 측정된다.
• 다양한 아키텍처가 평가되었으며, Deep Sets, GAT, 메모리 네트워크, MPNN, PGN 등으로 모델 간 비교가 가능하다.
• 알고리즘 특화의 인덕티브 바이어스가 포함되어 있으며, 그래프 알고리즘에는 그래프 구조가, 문자열 처리에는 시퀀스 모델링이 적용된다.

실험 결과

연구 질문

• RQ1 현대 신경망 아키텍처는 알고리즘 추론 작업에서 분포 외 입력으로의 일반화 능력이 얼마나 잘 되어 있는가?
• RQ2 그래프 어텐션, 메모리 네트워크 등 특정 아키텍처의 인덕티브 바이어스는 고전적 알고리즘의 구조와 얼마나 잘 부합하는가?
• RQ3 한 알고리즘에서 훈련된 모델이 공통된 서브루틴을 공유하는 유사 알고리즘으로 얼마나 잘 일반화되는가?
• RQ4 왜 일부 모델은 퀵소트나 DFS와 같은 재귀적 또는 장거리 추론 작업에서 실패하는가?
• RQ5 중간 지도 정보(힌트)는 모델 성능과 학습 효율성에 어떤 영향을 미치는가?

주요 결과

• PGN 모델은 50.84%의 가장 높은 전체 OOD 마이크로-F1 스코어를 기록하여 다른 아키텍처를 크게 앞서나간다.
• MPNN는 더 큰 그래프에서 성능이 떨어지며, 분포 내 성능은 높지만 OOD 일반화 능력은 제한됨을 시사한다.
• 메모리 네트워크와 Deep Sets는 대부분의 알고리즘 클래스에서 어려움을 겪으며, 특히 정렬 및 문자열 매칭에서 F1 스코어가 15% 이하로 낮다.
• GNN 기반 모델(PGN, GAT)은 비-GNN 기반 모델보다 항상 뛰어나며, 특히 그래프 및 동적 프로그래밍 작업에서 두각을 나타낸다.
• 문자열 매칭 알고리즘(예: KMP)은 여전히 매우 도전적이며, 모든 모델이 마이크로-F1 스코어가 3.5% 이하로 낮다. 이는 전용 인덕티브 바이어스가 필요함을 시사한다.
• 최상의 모델들조차도 OOD 일반화에서 약 51%의 마이크로-F1 스코어를 기록할 뿐이며, 이는 알고리즘 추론 일반화 능력에 여전히 큰 격차가 있음을 드러낸다.