[논문 리뷰] Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks

Sadegh Mahdavi, Kevin Swersky외 4명|arXiv (Cornell University)|2022. 11. 01.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 CLRS 벤치마크에서 발생하는 고유한 과제를 규명하고 입력 분포 이탈에 대한 수정을 제안하며, 30개의 알고리즘 작업 전반에서 SOTA 대비 3% 향상된 OOD 성능을 달성하는 주목적 기반 2-WL 그래프 신경망 프로세서를 도입함으로써 신경 알고리즘 추론에서의 분포 외 일반화 문제를 다룹니다.

ABSTRACT

In this paper, we study the OOD generalization of neural algorithmic reasoning tasks, where the goal is to learn an algorithm (e.g., sorting, breadth-first search, and depth-first search) from input-output pairs using deep neural networks. First, we argue that OOD generalization in this setting is significantly different than common OOD settings. For example, some phenomena in OOD generalization of image classifications such as \emph{accuracy on the line} are not observed here, and techniques such as data augmentation methods do not help as assumptions underlying many augmentation techniques are often violated. Second, we analyze the main challenges (e.g., input distribution shift, non-representative data generation, and uninformative validation metrics) of the current leading benchmark, i.e., CLRS \citep{deepmind2021clrs}, which contains 30 algorithmic reasoning tasks. We propose several solutions, including a simple-yet-effective fix to the input distribution shift and improved data generation. Finally, we propose an attention-based 2WL-graph neural network (GNN) processor which complements message-passing GNNs so their combination outperforms the state-of-the-art model by a 3% margin averaged over all algorithms. Our code is available at: \url{https://github.com/smahdavi4/clrs}.

연구 동기 및 목표

• 표준 시각 기반 OOD 설정과는 다름없는 신경 알고리즘 추론에서의 OOD 일반화 고유 과제를 조사합니다.
• 입력 분포 이탈, 대표성 없는 데이터 생성, 오해의 소지가 있는 내분포 검증 지표 등 CLRS 벤치마크의 핵심 문제를 규명합니다.
• 향상된 데이터 분포, 입력 표현 수정, 새로운 GNN 아키텍처를 통해 OOD 일반화를 향상시킵니다.
• 메시지 전달 GNN과 주목적 기반 2-WL 프로세서를 융합한 하이브리드 모델을 개발하여 미리보지 않은 그래프 크기에서의 성능을 향상시킵니다.
• 30개의 알고리즘 추론 작업 전반에서 최신 기술(SOTA) 수준의 OOD 일반화 성능을 달성하며, 평균 정확도 74.33%를 기록합니다.

제안 방법

• 알고리즘 불변성을 더 잘 반영하도록 입력 표현을 수정함으로써 입력 분포 이탈 문제를 단순하지만 효과적으로 해결합니다.
• 내분포 학습 데이터셋을 확대하여 OOD 일반화의 한계를 극복하고 모델의 강건성을 향상시킵니다.
• 표준 메시지 전달 GNN보다 더 높은 표현 능력을 지닌 주목적 기반 2-WL 그래프 신경망 프로세서를 설계합니다.
• 주목적 기반 2-WL 프로세서를 메시지 전달 GNN과 융합하여 SOTA를 초월하는 하이브리드 아키텍처를 구축합니다.
• 모델 학습을 단계별 추론 이해를 유도하기 위해 중간 알고리즘 단계의 힌트를 추가로 지도로 활용합니다.
• 노드, 엣지, 그래프 수준의 특징을 갖는 그래프 구조 입력에서 종합적인 프레임워크를 사용해 30개 작업 전반에 걸쳐 모델을 종단 간 학습합니다.

실험 결과

연구 질문

• RQ1 신경 알고리즘 추론에서 OOD 일반화의 역학은 표준 이미지 분류 OOD 설정과 어떻게 다릅니까?
• RQ2 CLRS 벤치마크에서 OOD 일반화 성능이 열악한 주요 원인은 무엇이며, 특히 데이터 분포와 검증 지표 측면에서 어떻게 설명될 수 있습니까?
• RQ3 아키텍처나 표현 수준의 수정을 통해 입력 분포 이탈 문제를 효과적으로 완화할 수 있습니까?
• RQ4 메시지 전달 GNN과 융합된 주목적 기반 2-WL GNN 프로세서는 OOD 일반화에 얼마나 기여합니까?
• RQ5 개선된 데이터 생성 및 모델 선택 전략은 더 신뢰할 수 있는 OOD 성능 추정과 더 나은 일반화를 이끌 수 있습니까?

주요 결과

• CLRS 벤치마크는 표준 시각 벤치마크에서 볼 수 없는 고유한 OOD 과제를 보이며, 입력 분포 이탈과 대표성 없는 데이터 생성이 포함됩니다.
• 내분포 검증 지표는 거의 완벽에 가까워, OOD 성능 예측을 위한 모델 선택이 신뢰할 수 없습니다.
• 입력 분포 이탈 문제에 대한 단순한 수정이 특히 더 큰 그래프 크기에서 OOD 일반화 성능을 크게 향상시킵니다.
• 제안된 주목적 기반 2-WL GNN 프로세서는 30개의 알고리즘 작업 전반에서 평균적으로 SOTA 모델을 3% 초월합니다.
• 하이브리드 모델은 모든 알고리즘 평균으로 OOD 테스트 정확도 74.33%를 달성하여, 예측하지 않은 그래프 크기로의 일반화 능력이 뛰어나다는 것을 입증합니다.
• 높은 OOD 정확도에도 불구하고, 모델은 특정 한 벤치마크 작업에서 여전히 어려움을 겪고 있어 알고리즘 불변성 학습 향상을 위한 추가 연구 여전히 필요합니다.