[논문 리뷰] How to transfer algorithmic reasoning knowledge to learn new algorithms?

Louis-Pascal Xhonneux, Andreea-Ioana Deac외 2명|arXiv (Cornell University)|2021. 10. 26.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 실행 트레이스가 있는 그래프 알고리즘에서 유사한 알고리즘으로 알고리즘적 추론 지식을 전이하는 방법을 조사한다. 소스 알고리즘(실행 트레이스가 있는)과 타겟 알고리즘(실행 트레이스가 없는) 간에 공유된 모델 가중치를 사용하는 다중 작업 학습을 제안하며, 이 접근 방식이 체계적 일반화를 크게 향상시킨다. 표준 전이 학습 기법은 알고리즘 작업 간 가중치 공간의 불일치로 실패하므로 성능이 열 劣하다.

ABSTRACT

Learning to execute algorithms is a fundamental problem that has been widely studied. Prior work~\cite{veli19neural} has shown that to enable systematic generalisation on graph algorithms it is critical to have access to the intermediate steps of the program/algorithm. In many reasoning tasks, where algorithmic-style reasoning is important, we only have access to the input and output examples. Thus, inspired by the success of pre-training on similar tasks or data in Natural Language Processing (NLP) and Computer Vision, we set out to study how we can transfer algorithmic reasoning knowledge. Specifically, we investigate how we can use algorithms for which we have access to the execution trace to learn to solve similar tasks for which we do not. We investigate two major classes of graph algorithms, parallel algorithms such as breadth-first search and Bellman-Ford and sequential greedy algorithms such as Prim and Dijkstra. Due to the fundamental differences between algorithmic reasoning knowledge and feature extractors such as used in Computer Vision or NLP, we hypothesise that standard transfer techniques will not be sufficient to achieve systematic generalisation. To investigate this empirically we create a dataset including 9 algorithms and 3 different graph types. We validate this empirically and show how instead multi-task learning can be used to achieve the transfer of algorithmic reasoning knowledge.

연구 동기 및 목표

• 중간 실행 단계가 제공되지 않을 경우 알고리즘적 추론의 체계적 일반화 문제를 해결하기 위해.
• NLP 및 CV 분야에서 표준 전이 학습 기법이 그래프 알고리즘 간에 알고리즘적 추론 지식을 효과적으로 전이할 수 있는지 조사하기 위해.
• 입력-출력 쌍으로부터 새로운 알고리즘을 학습하는 데 있어 전이 학습보다 다중 작업 학습이 더 효과적인 인덕티브 바이어스가 될 수 있는지 평가하기 위해.
• 다양한 알고리즘 유형과 그래프 구조를 가진 정적 그래프에서 알고리즘적 추론 전이에 대한 벤치마크를 수립하기 위해.

제안 방법

• 3종류의 그래프 유형과 함께 9개의 그래프 알고리즘을 포함하는 새로운 벤치마크 데이터셋을 구축하며, 병렬(예: BFS, 벨만-포드) 및 순차적 근사(예: 프림, 다익스트라) 알고리즘을 모두 포함한다.
• 복잡한 작업에 대한 알고리즘 정렬을 지원하기 위해 향상되고 더 표현력이 뛰어난 인코더를 갖춘 그래프 신경망(GNNs)을 사용한다.
• 실행 트레이스가 있는 소스 알고리즘과 없는 타겟 알고리즘 양쪽 모두에 대해 다중 작업 학습을 통해 공유된 가중치를 강제 적용하여 공유 모델을 훈련한다.
• 실행 트레이스가 타겟 알고리즘에 없을 경우, 훈련 중 가장 신뢰도가 높은 실행 궤적을 샘플링하여 커리큘럼 학습을 적용한다.
• 내분포 및 외분포 일반화 성능 평가를 위해 다중 작업 학습을 표준 전이 학습(피닝-튜닝 및 가중치 동 冻결)과 비교한다.
• 알고리즘 정렬을 核심 설계 원칙으로 삼아, 모델의 부분 구조가 알고리즘의 부분 단계에 의미 있게 대응하도록 보장함으로써 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 전이 학습 기법(예: 피닝-튜닝, 가중치 동 冻결)은 실행 트레이스가 있는 소스 알고리즘에서 실행 트레이스가 없는 타겟 알고리즘으로 알고리즘적 추론 지식을 효과적으로 전이할 수 있는가?
• RQ2 소스 알고리즘과 타겟 알고리즘 간에 공유된 모델 가중치를 사용하는 다중 작업 학습이 전이 학습이나 단일 작업 학습보다 체계적 일반화를 향상시키는가?
• RQ3 중간 지도 없이도 알고리즘의 구조적 표현력(예: NE 대비 NE++)이 체계적 일반화에 어떤 영향을 미치는가?
• RQ4 알고리즘 구조의 유사성(예: 프림과 다익스트라의 근사 선택)이 추론 작업에서 제로샷 전이에 유의미한 인덕티브 바이어스로 작용할 수 있는가?
• RQ5 실행 트레이스의 부재가 학습의 안정성과 성능에 어떤 영향을 미치며, 궤적 샘플링은 훈련 신뢰도를 향상시킬 수 있는가?

주요 결과

• 표준 전이 학습 기법(예: 피닝-튜닝, 가중치 동 冻결)은 소스 알고리즘과 타겟 알고리즘이 구조적으로 유사하더라도 체계적 일반화를 향상시키지 못한다.
• 다중 작업 학습은 실행 트레이스가 없는 타겟 알고리즘에서 체계적 일반화를 크게 향상시키며, 특히 더 도전적인 순차적 추론 영역(예: 다익스트라, 프림)에서 두드러진다.
• 모델의 용량이 제한되어 있어도 다중 작업 학습은 단일 작업 학습 및 전이 학습을 모두 초월하며, 이는 아키텍처 제약에 대해 뛰어난 내구성을 보임을 시사한다.
• 다중 작업 학습의 성공은 소스 및 타겟 작업 양쪽에 걸쳐 공유 최적화를 통해 가중치가 일반화되도록 강제하기 때문이며, 전이 학습은 최적의 초기 가중치가 아니면 수렴이 불량해지는 위험을 안고 있다.
• 다중 작업 학습과 전이 학습 간의 성능 격차는 알고리즘 구조가 더 복잡하고 직접적인 가중치 전이에 덜 적합한 순차적 추론 환경에서 가장 두드러진다.
• 중간 지도가 있을 경우 더 표현력 있는 아키텍처(예: NE++)는 체계적 일반화를 해칠 수 있으나, 다중 작업 학습의 제로샷 설정에서는 이 단점이 사라지며, NE++가 항상 단순한 모델보다 우수한 성능을 보인다.