[논문 리뷰] Learning Iterative Reasoning through Energy Minimization

Yilun Du, Shuang Li외 2명|arXiv (Cornell University)|2022. 06. 30.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 신경망에서 확장 가능하고 일반화 가능한 알고리즘적 추론을 가능하게 하기 위해 학습된 에너지 경계 위에서 반복적인 에너지 최소화로 추론을 공식화하는 IREM(Iterative Reasoning as Energy Minimization) 프레임워크를 소개한다. 각 추론 단계를 최적화 과정으로 간주함으로써 IREM은 더 어려운 문제에 대해 동적으로 계산 자원을 조정하고, 연속적 및 그래프 기반 알고리즘 작업에서 최신 기술 성능을 달성한다. 이는 연산의 재귀적 조합을 포함한다.

ABSTRACT

Deep learning has excelled on complex pattern recognition tasks such as image classification and object recognition. However, it struggles with tasks requiring nontrivial reasoning, such as algorithmic computation. Humans are able to solve such tasks through iterative reasoning -- spending more time thinking about harder tasks. Most existing neural networks, however, exhibit a fixed computational budget controlled by the neural network architecture, preventing additional computational processing on harder tasks. In this work, we present a new framework for iterative reasoning with neural networks. We train a neural network to parameterize an energy landscape over all outputs, and implement each step of the iterative reasoning as an energy minimization step to find a minimal energy solution. By formulating reasoning as an energy minimization problem, for harder problems that lead to more complex energy landscapes, we may then adjust our underlying computational budget by running a more complex optimization procedure. We empirically illustrate that our iterative reasoning approach can solve more accurate and generalizable algorithmic reasoning tasks in both graph and continuous domains. Finally, we illustrate that our approach can recursively solve algorithmic problems requiring nested reasoning

연구 동기 및 목표

• 딥 신경망이 반복적이고 제어된 처리가 필요한 알고리즘 작업을 수행하는 데 있어 비효율적인 한계를 해결하기 위해.
• 최적화 단계를 조정하여 더 어려운 문제에 대해 신경망이 계산 자원을 동적으로 증가시킬 수 있는 프레임워크를 개발하기 위해.
• 반복적 개선을 통해 더 복잡하고 분포 외 입력으로 일반화할 수 있는 추론 시스템을 설계하기 위해.
• 중첩된 추론 작업을 위한 학습된 알고리즘의 재귀적 적용을 가능하게 하기 위해.
• 기존의 강화 학습이나 히우리스틱 정지 정책에 의존하는 반복적 추론 방법에 비해 안정적이고 미분 가능하며 일반화 가능한 대안을 제공하기 위해.

제안 방법

• 입력 $ \mathbf{x}, \mathbf{y} $ 에 대해 가능한 출력 $ \mathbf{z} $ 에 대한 에너지 경계를 정의하기 위해 신경망을 사용해 에너지 함수 $ E_{\theta}(\mathbf{z}|\mathbf{x},\mathbf{y}) $ 를 매개변수화한다.
• 에너지 함수에 대해 경사 하강법을 사용해 반복적인 에너지 최소화를 수행하여 다중 단계에 걸쳐 후보 해를 개선한다.
• 에너지 최소화 과정의 수렴(즉, 국소 최소점 도달)을 추론 완료 신호로 사용한다.
• 최적화 단계를 거쳐 백프로파게이션을 통해 전체적으로 학습함으로써, 미분 가능한 추론을 가능하게 한다.
• 분포 내 및 분포 외 일반화를 지원하는, 다양한 분야에서 적용 가능한 미분 가능한 파이프라인에 에너지 최소화 과정을 통합한다.
• 연속 벡터 입력과 그래프 구조 데이터 양쪽에 프레임워크를 적용하여, 다양한 도메인에서의 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 신경망 내 반복적 추론이 알고리즘 작업 성능 향상에 효과적으로 에너지 최소화로 모델링될 수 있는가?
• RQ2 제안된 에너지 최소화 프레임워크는 알고리즘 문제의 더 어려운 및 더 복잡한 사례로 일반화되는가?
• RQ3 중간 출력이 분포 외일 경우에도 이 프레임워크는 학습된 알고리즘의 재귀적 조합을 지원할 수 있는가?
• RQ4 기존의 학습된 정지 정책에 의존하는 반복적 추론 방법에 비해 이 방법은 얼마나 안정적이고 확장 가능한가?
• RQ5 에너지 값은 솔루션 품질과 얼마나 관련이 있으며, 신뢰할 수 있는 종료 신호로 사용될 수 있는가?

주요 결과

• IREM은 연속적 알고리즘 추론 작업에서 최신 기술 성능을 달성하며, 2개 연산의 덧셈 조합 작업에서 테스트 평균 제곱 오차(MSE)가 0.0014로 기록되어 다음으로 우수한 방법(5개 연산 기준 0.0078)을 크게 앞서며 성능을 뛰어나게 한다.
• 덧셈 연산의 재귀적 조합 작업에서 IREM은 느리지만 안정적인 오차 증가를 보이며, 10개의 연산을 조합한 경우 MSE가 0.0422에 그치지만, 순환 기반 기준은 4.8706에 이르렀다.
• 후보 해의 에너지 값은 진짜 값으로부터의 거리와 잘 상관되어 있으며, 낮은 에너지 해는 최적에 가까운 해임을 시사한다.
• IREM은 재귀 실행 중 분포 외 중간 출력에도 강건하여, 최대 10개의 연산을 조합할 때도 낮은 오차를 유지한다.
• 단계 크기 초모수 설정에 대해 민감하지 않으며, 고정된 단계 크기 100을 사용해 실험 전반에서 일관된 성능을 기록한다.
• IREM은 복잡한 연산, 예를 들어 네 개의 입력 행렬을 합하는 것을 정확하게 근사할 수 있으며, 시각화 결과에서 예측 출력이 진짜 값과 매우 유사하게 나타난다.