[논문 리뷰] Can You Learn an Algorithm? Generalizing from Easy to Hard Problems with Recurrent Networks

Avi Schwarzschild, Eitan Borgnia외 5명|arXiv (Cornell University)|2021. 06. 08.

Machine Learning and Data Classification인용 수 9

한 줄 요약

이 논문은 간단한 추론 문제(예: 접두사 합, 미로, 체스)의 단순 예제들에 대해 훈련된 순환 신경망이 추론 시간의 반복 횟수를 늘림으로써 훨씬 더 어려운 문제로 일반화할 수 있음을 보여준다. 이는 반복 계산을 통해 알고리즘적 추론을 모방하는 것이다. 주요 기여는 이러한 모델이 재학습이나 아키텍처 변경 없이도 훈련 분포를 초월하는 확장 가능한 알고리즘 유사 행동을 학습한다는 것을 입증한 것이다.

ABSTRACT

Deep neural networks are powerful machines for visual pattern recognition, but reasoning tasks that are easy for humans may still be difficult for neural models. Humans possess the ability to extrapolate reasoning strategies learned on simple problems to solve harder examples, often by thinking for longer. For example, a person who has learned to solve small mazes can easily extend the very same search techniques to solve much larger mazes by spending more time. In computers, this behavior is often achieved through the use of algorithms, which scale to arbitrarily hard problem instances at the cost of more computation. In contrast, the sequential computing budget of feed-forward neural networks is limited by their depth, and networks trained on simple problems have no way of extending their reasoning to accommodate harder problems. In this work, we show that recurrent networks trained to solve simple problems with few recurrent steps can indeed solve much more complex problems simply by performing additional recurrences during inference. We demonstrate this algorithmic behavior of recurrent networks on prefix sum computation, mazes, and chess. In all three domains, networks trained on simple problem instances are able to extend their reasoning abilities at test time simply by "thinking for longer."

연구 동기 및 목표

• 순환 신경망이 훈련 데이터를 초월해 더 어려운 문제 인스턴스로 일반화하는 알고리즘적 추론을 학습할 수 있는지 조사하는 것.
• 추론 시간의 반복 횟수를 늘임으로써 훈련 중에 관찰한 것보다 더 높은 복잡도의 문제를 해결할 수 있는지 탐구하는 것.
• 순환 아키텍처가 전통적으로 수작업 알고리즘으로 해결되는 추론 작업에서 논리적 외삽을 달성할 수 있는지 결정하는 것.
• 고정 깊이의 피드포워드 네트워크와 비교하여 순환 모델의 분포 외 일반화 성능을 평가하는 것.
• 순환 네트워크가 추론 중에 학습한 반복적 추론 과정을 시각화하고 분석하는 것.

제안 방법

• 고정된 반복 횟수로 단순한 추론 문제의 작은 인스턴스들에 대해 순환 네트워크를 훈련하는 것.
• 추론 시간에 반복 횟수를 늘림으로써 동일한 모델을 더 어려운 문제 인스턴스에 테스트하는 것.
• 반복 단계 간 가중치 공유를 통해 확장 가능한 추론을 가능하게 하는 표준 순환 아키텍처(예: GRUs 또는 LSTMs)를 사용하는 것.
• 세 가지 도메인에서 성능을 평가하는 것: 접두사 합 계산, 미로 해결, 체스 퍼즐 해결.
• 내부 활성화 및 주의 패턴을 반복 단계에 걸쳐 시각화하여 학습된 추론 과정을 해석하는 것.
• 반복 추론 능력이 없는 동일한 깊이의 피드포워드 네트워크와의 일반화 성능를 비교하는 것.

실험 결과

연구 질문

• RQ1 쉬운 문제에 대해 훈련된 순환 네트워크가 추론 시간의 반복 횟수를 늘림으로써 더 어려운 문제로 일반화할 수 있는가?
• RQ2 테스트 시 반복 횟수를 늘림으로써 분포 외의 더 어려운 인스턴스에서 성능 향상이 이루어지는가?
• RQ3 훈련 분포를 초월하는 문제를 해결할 때 순환 모델의 성능는 피드포워드 네트워크와 비교해 어떻게 되는가?
• RQ4 순환 네트워크는 전통적인 반복 알고리즘(예: BFS, 감소 트리)과 유사한 알고리즘 유사 행동을 학습하는가?
• RQ5 순환 네트워크의 내부 역학은 작업 기억에서 의도적인 단계별 추론으로 해석될 수 있는가?

주요 결과

• 작은 미로에 대해 훈련된 순환 네트워크는 테스트 시 더 많은 반복 횟수를 부여받아 훨씬 더 큰 미로로 일반화하며, 고정 깊이의 피드포워드 네트워크를 능가한다.
• 작은 접두사 합 문제에 대해 훈련된 모델은 추론 시간 반복 횟수를 늘림으로써 임의로 큰 입력으로 일반화하며, 충분한 반복 횟수에서 정확한 결과를 달성한다.
• 체스 퍼즐에서, 낮은 난이도의 퍼즐에 대해 훈련된 모델은 반복 횟수를 늘림으로써 더 높은 난이도의 퍼즐을 풀 수 있었으며, 논리적 외삽을 보였다.
• 재학습이나 아키텍처 변경 없이도 반복 횟수가 늘어날수록 성능이 단조롭게 향상되며, 이는 확장 가능한 추론을 의미한다.
• 시각화 결과 네트워크의 내부 활성화가 점진적으로 변화함을 확인할 수 있었으며, 먼저 핵심 요소들(예: 체스에서 룩)을 식별하고 나서 최적의 수를 결정하는 과정을 거친다.
• 이러한 행동은 반복에 특화되어 있으며, 동일한 깊이의 피드포워드 네트워크는 더 어려운 문제로 일반화하지 못함을 확인하여 반복 계산의 중요성을 입증한다.