[논문 리뷰] Neuro-algorithmic Policies enable Fast Combinatorial Generalization

Marin Vlastelica, Michal Rolínek외 1명|arXiv (Cornell University)|2021. 02. 15.

Machine Learning and Algorithms참고 문헌 3인용 수 4

한 줄 요약

이 논문은 강화학습에서 빠른 조합적 일반화를 가능하게 하기 위해 딥 뉴럴 네트워크와 미분 가능한 시간에 따라 변하는 최단경로(TDSP) 솔버를 조합한 하이브리드 아키텍처인 신경-알고리즘 정책(NAP)을 제안한다. 블랙박스 미분을 통한 엔드 투 엔드 훈련을 통해 NAP는 기존의 타깃 학습 기반 기준보다 수개의 수준 낮은 전문가 시퀀스로도 새로운 환경 변화에 대해 강력한 제로샷 일반화 성능을 달성한다.

ABSTRACT

Although model-based and model-free approaches to learning the control of systems have achieved impressive results on standard benchmarks, generalization to task variations is still lacking. Recent results suggest that generalization for standard architectures improves only after obtaining exhaustive amounts of data. We give evidence that generalization capabilities are in many cases bottlenecked by the inability to generalize on the combinatorial aspects of the problem. Furthermore, we show that for a certain subclass of the MDP framework, this can be alleviated by neuro-algorithmic architectures. Many control problems require long-term planning that is hard to solve generically with neural networks alone. We introduce a neuro-algorithmic policy architecture consisting of a neural network and an embedded time-dependent shortest path solver. These policies can be trained end-to-end by blackbox differentiation. We show that this type of architecture generalizes well to unseen variations in the environment already after seeing a few examples.

연구 동기 및 목표

• 새로운 환경 변화에 직면했을 때 기존의 딥 강화학습 및 타깃 학습 방법의 열악한 일반화 성능를 해결하기 위해.
• 최단경로 솔버와 같은 조합 알고리즘을 신경 정책에 통합하면 낮은 데이터 환경에서 일반화 성능 향상에 기여하는지 조사하기 위해.
• 신경-알고리즘 아키텍처가 조합 복잡성을 효율적인 알고리즘으로 이동시킴으로써 강력한 일반화 성능를 달성할 수 있음을 보여주기 위해.
• 다이나믹하고 이미지 기반의 제어 환경에서 미분 가능한 플래너의 효과성을 평가하기 위해.

제안 방법

• 이 방법은 입력 관측치로부터 시간에 따라 변화하는 그래프를 생성하는 딥 뉴럴 네트워크를 사용하며, 간선 가중치는 시간에 따라 변하는 비용을 나타낸다.
• 미분 가능한 시간에 따라 변하는 최단경로(TDSP) 솔버가 잠재 그래프 상에서 최적의 경로를 계산하며, 그 기울기는 블랙박스 미분을 통해 역전파된다.
• 전체 아키텍처는 소량의 전문가 경로로부터 타깃 학습을 통해 엔드 투 엔드로 훈련된다.
• 잠재 그래프의 구조는 알려진 위상적 격자와 고정된 동작을 전제로 하며, 솔버는 네트워크로부터 유도된 변화하는 비용에 기반해 작동한다.
• 이 방법은 최단경로 알고리즘의 조합적 인덕티브 바이어스를 활용하여 명시적인 모델 학습 없이도 일반화 성능 향상을 이룬다.
• 이 방법은 정적 및 동적 환경 모두에 적용되며, 이미지 기반 게임 환경을 포함한다.

실험 결과

연구 질문

• RQ1 신경 정책에 미분 가능한 최단경로 솔버를 통합하면 새로운 환경 변화에 대한 일반화 성능 향상에 기여하는가?
• RQ2 낮은 데이터 환경에서 신경-알고리즘 정책의 성능는 기존의 타깃 학습 기반 기준과 비교해 어떻게 되는가?
• RQ3 조합 플래너의 사용이 일반화 설정에서 더 최적(짧은) 경로를 제공하는가?
• RQ4 다이나믹 환경에서 플래닝 수평 길이에 따라 이 방법의 민감도는 어떠한가?
• RQ5 최소한의 전문가 시퀀스로 신경-알고리즘 정책이 이미지 기반 제어 작업에서 효과적으로 일반화할 수 있는가?

주요 결과

• NAP는 단지 100개의 훈련 레벨로만 테스트한 미로 환경에서 약 80%의 성공률을 기록했으며, PPO나 DrAC는 1,000개 레벨 이상 훈련한 후에도 이를 달성하지 못했다.
• NAP는 1,000개 레벨로 훈련된 결과가 PPO가 200,000개 레벨로 훈련한 성능 수준과 유사한 성능을 보였다.
• 크래시 조 Jewel 헌트 5×5 환경에서 NAP는 단지 30개의 전문가 경로로 1,000개의 테스트 레벨 중 33%를 해결했으며, 행동 복제 기반 기준은 5% 미만을 기록했다.
• NAP는 조건이 동일한 레벨에서조차도 PPO나 DrAC∗보다 훨씬 짧은 경로 길이를 기록했으며, 이는 더 나은 경로 최적성의 가능성을 시사한다.
• 더 긴 플래닝 수평은 다이나믹 환경에서 성능 향상을 가져왔지만, 미로와 같은 정적 환경에서는 기대한 바와 같이 유의미한 이득을 제공하지 않았다.
• 이 방법은 극히 소량의 데이터로도 강력한 일반화 성능를 보였으며, 플래너에서 유도된 조합적 인덕티브 바이어스가 낮은 데이터 일반화의 핵심 요소임을 입증했다.