[논문 리뷰] A Generalist Neural Algorithmic Learner

Borja Ibarz, Vitaly Kurin외 13명|arXiv (Cornell University)|2022. 09. 22.

Machine Learning and Algorithms인용 수 7

한 줄 요약

이 논문은 공유 파rameter를 가진 단일 그래프 신경망을 사용하여 정렬, 최단경로, 동적 프로그래밍, 기하 계산 등 다양한 고전적 알고리즘을 동시에 실행할 수 있는 일반화된 신경 알고리즘 학습자(Generalist Neural Algorithmic Learner)를 소개한다. 입력 표현, 훈련 제도, GNN 아키텍처를 개선함으로써, CLRS-30 벤치마크에서 평균 성능이 20% 이상 향상되었으며, 분포 외 일반화 능력에서 전문 모델과 유사하거나 이를 초월함으로써 이질적인 제어 흐름 간의 다중 작업 지식 통합이 효과적으로 이루어졌음을 보여준다.

ABSTRACT

The cornerstone of neural algorithmic reasoning is the ability to solve algorithmic tasks, especially in a way that generalises out of distribution. While recent years have seen a surge in methodological improvements in this area, they mostly focused on building specialist models. Specialist models are capable of learning to neurally execute either only one algorithm or a collection of algorithms with identical control-flow backbone. Here, instead, we focus on constructing a generalist neural algorithmic learner -- a single graph neural network processor capable of learning to execute a wide range of algorithms, such as sorting, searching, dynamic programming, path-finding and geometry. We leverage the CLRS benchmark to empirically show that, much like recent successes in the domain of perception, generalist algorithmic learners can be built by "incorporating" knowledge. That is, it is possible to effectively learn algorithms in a multi-task manner, so long as we can learn to execute them well in a single-task regime. Motivated by this, we present a series of improvements to the input representation, training regime and processor architecture over CLRS, improving average single-task performance by over 20% from prior art. We then conduct a thorough ablation of multi-task learners leveraging these improvements. Our results demonstrate a generalist learner that effectively incorporates knowledge captured by specialist models.

연구 동기 및 목표

• 공유 파rameter를 가진 단일 신경망을 개발하여 다양한 고전적 알고리즘 작업을 학습하고 실행할 수 있도록 한다.
• 유사한 제어 흐름 또는 단일 알고리즘에 국한된 전문 모델의 한계를 극복한다.
• 공동 훈련에서 증폭되는 수치적 불안정성 문제를 해결함으로써 신경 알고리즘 추론에서의 다중 작업 학습 안정성과 성능을 향상시킨다.
• 전문 모델의 지식이 향상된 훈련 및 아키텍처 구성 요소를 통해 일반화된 학습자에 효과적으로 통합될 수 있음을 입증한다.
• 다양한 알고리즘 영역에 적용 가능한 확장 가능한 일반 목적의 프레임워크를 구축한다.

제안 방법

• 모델은 작업별로 고유한 인코더-디코더 헤드를 가진 공통된 가중치를 가진 통합 그래프 신경망 프로세서를 사용하여 다수의 알고리즘 작업을 처리한다.
• 모델 일반화 및 훈련 안정성을 향상시키기 위해 구조적이고 작업에 종속되지 않는 특징을 입력 표현에 통합한다.
• 다중 작업 학습 중의 기울기 불안정성을 줄이기 위해 청크 기반 훈련 제도를 도입하여 수렴성과 성능을 향상시킨다.
• 훈련과 추론 간의 분포 이탈을 방지하기 위해 노이즈가 포함된 티처 포싱을 피함으로써 분포 외 일반화 능력을 향상시킨다.
• 아키텍처 개선 사항으로 삼중 추론 모듈, 게이팅 메시지 전파, 그리고 가용성 라우팅과 주목적을 위한 싱크호른 기반 연산자를 포함한다.
• 훈련 안정성 향상과 CLRS-30 벤치마크에서의 수렴 가속화를 위해 기울기 클리핑 및 효율성 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 기본적으로 다른 제어 흐름을 가진 다양한 알고리즘 작업을 효과적으로 학습하고 실행할 수 있는 단일 신경망이 가능한가?
• RQ2 단일 작업 전문 모델 대비 다중 작업 훈련이 다양한 알고리즘 작업 간의 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ3 입력 표현, 훈련 제도, 아키텍처 개선 사항이 함께 통합되었을 때 다중 작업 알고리즘 추론 성능가 어떻게 향상되는가?
• RQ4 훈련 중에 티처 포싱 노이즈를 피할 경우 알고리즘 실행의 분포 외 일반화 능력이 향상되는가?
• RQ5 일반화 모델이 특히 더 큰, 미리 보지 못한 인스턴스에서 전문 모델과 동일하거나 이를 초월하는 성능을 달성할 수 있는가?

주요 결과

• 제안된 일반화 모델은 이전 최고 성능 모델 대비 CLRS-30 벤치마크에서 평균 성능이 20.3% 이상 향상되었다.
• 정렬 및 최단경로 등 여러 작업에서, 해당 단일 작업 전문 모델의 분포 외 일반화 성능과 동일하거나 이를 초월하였다.
• 제거 실험 결과, 티처 포싱 노이즈가 일반화 능력에 심각한 악영향을 미치며, 훈련 시 진짜 힌트를 사용할 경우 성능이 저하됨을 확인하였다.
• 청크 기반 훈련 제도는 일반적인 다중 작업 훈련 대비 상당한 성능 향상을 이끌어내어 훈련 안정성 향상의 증거로 나타났다.
• 삼중 추론 모듈 및 싱크호른 연산자와 같은 아키텍처 개선 사항의 조합이 모델의 강건성과 성능 향상에 기여함을 확인하였다.
• 수치적 안정성과 표현 품질을 철저히 다룰 경우, 신경 알고리즘 추론에서 효과적인 다중 작업 학습이 가능함을 결과가 입증하였다.