[논문 리뷰] Learning a Generic Value-Selection Heuristic Inside a Constraint Programming Solver

Marty, Tom, François, Tristan외 4명|arXiv (Cornell University)|2017. 06. 16.

Reinforcement Learning in Robotics참고 문헌 28인용 수 521

한 줄 요약

이 논문은 팀 수준의 가치 함수를 개별 에이전트 가치 함수로 분해하는 데에 초점을 맞춘 딥 강화학습 아키텍처인 밸류-디컴포지션 네트워크(VDN)를 제안한다. 이는 단일 연합 보상 신호만으로도 협동적 다중 에이전트 학습을 가능하게 한다. 총 Q-값 기울기를 개별 네트워크를 통해 역전파함으로써 VDN은 '게으른 에이전트' 문제와 부적절한 보상 문제를 완화하며, 부분 관찰 가능한 환경에서 중심화된 학습 및 독립적 학습 베이스라인보다 우수한 성능을 보인다. 특히 가중치 공유 및 정보 채널을 조합할 경우 더욱 뛰어난 성능을 발휘한다.

ABSTRACT

Constraint programming is known for being an efficient approach to solving combinatorial problems. Important design choices in a solver are the branching heuristics, designed to lead the search to the best solutions in a minimum amount of time. However, developing these heuristics is a time-consuming process that requires problem-specific expertise. This observation has motivated many efforts to use machine learning to automatically learn efficient heuristics without expert intervention. Although several generic variable-selection heuristics are available in the literature, the options for value-selection heuristics are more scarce. We propose to tackle this issue by introducing a generic learning procedure that can be used to obtain a value-selection heuristic inside a constraint programming solver. This has been achieved thanks to the combination of a deep Q-learning algorithm, a tailored reward signal, and a heterogeneous graph neural network. Experiments on graph coloring, maximum independent set, and maximum cut problems show that this framework competes with the well-known impact-based and activity-based search heuristics and can find solutions close to optimality without requiring a large number of backtracks.

연구 동기 및 목표

• 단일 연합 보상 신호만으로도 협동적 다중 에이전트 강화학습에서 '게으운 에이전트' 문제와 부적절한 보상 문제를 해결하기 위해.
• 명시적인 보상 형상화나 환경의 완전한 관찰 가능성이 없더라도 개별 에이전트가 효과적인 정책을 학습할 수 있도록 하는 방법을 개발하기 위해.
• 학습 가능한 가치 분해 기반 메커니즘을 사용하여 부분 관찰 가능한 다중 에이전트 환경에서 샘플 효율성과 협동성을 향상시키기 위해.
• 다양한 벤치마크 과제에서 중심화된 학습 및 독립적 학습 접근법과의 비교를 통해 VDN의 효과성을 평가하기 위해.
• 가중치 공유, 역할 정보, 통신 채널과 같은 보조 구성 요소가 VDN 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 연합 Q-함수를 개별 에이전트 Q-함수로 덧셈 형태로 분해하는 데에 초점을 맞춘 새로운 가치 분해 네트워크(VDN)를 제안한다.
• 엔드 투 엔드 딥 러닝을 활용하여 총 Q-값 기울기를 개별 네트워크를 통해 역전파함으로써 개별 가치 함수의 공동 최적화를 가능하게 한다.
• 에이전트 간에 공유되는 신경망 아키텍처(가중치 공유)를 도입하여 샘플 효율성과 일반화 능력을 향상시킨다.
• 특히 비대칭 과제에서의 협동을 향상시키기 위해 역할 정보와 정보 채널을 도입한다.
• 중앙집중적 훈련과 분산 실행(CTDE) 프레임워크에 VDN 아키텍처를 적용하여, 훈련은 공동으로 수행하면서도 추론은 독립적으로 수행할 수 있도록 한다.
• 딥 Q-네트워크(DQN)와 유사하게 경험 리play와 타겟 네트워크를 사용하여 훈련을 안정화시키지만, 다중 에이전트 환경에 맞게 조정하였다.

실험 결과

연구 질문

• RQ1 학습 가능한 가치 분해 기반 메커니즘이 단일 연합 보상만으로도 중심화된 학습 및 독립적 학습보다 우수한 성능을 내는가?
• RQ2 왜 가치 분해가 부분 관찰성과 비정상성으로 인해 발생하는 '게으운 에이전트' 문제를 완화하는가?
• RQ3 가중치 공유, 역할 정보, 통신 채널이 가치 분해된 에이전트의 성능에 미치는 영향은 어떠한가?
• RQ4 VDN은 과제 특화 보상 형상화 없이도 다양한 부분 관찰 가능한 다중 에이전트 환경에서 일반화 가능한가?
• RQ5 가치 분해가 팀 보상에 대한 개별 기여도를 반영하는 더 해석 가능하고 분리된 가치 함수를 만들어내는가?

주요 결과

• VDN은 모든 일곱 개의 벤치마크 과제에서 중심화된 학습 및 독립적 학습 베이스라인보다 일관되게 뛰어난 성능을 보이며, 정규화된 곡선 아래 면적(AUC)과 최종 성능 모두 유의미하게 높게 기록했다.
• 단일 통로를 가진 페치 과제에서, 가중치 공유와 역할 정보를 적용한 VDN은 완벽한 성능을 달성했지만, 공유가 없는 버전은 '게으운 에이전트' 문제로 인해 성능이 떨어졌다.
• 정보 채널의 추가로 학습 속도와 협동성이 향상되었으며, 특히 보상 크기가 다른 에이전트를 가진 비대칭 과제인 체커에서 두드러진 효과를 보였다.
• 학습된 Q-분해 과정은 팀 보상을 에이전트별 기여도로 성공적으로 분리하였으며, 그림 6에서 볼 수 있듯이, 에이전트 Q-함수는 픽업 및 드롭오프 이벤트 시에 독립적으로 피크를 이룬다.
• 공유된 가중치와 역할 정보를 갖춘 VDN은 단일 통로 페치 과제를 완벽하게 해결했지만, 독립적 학습자와 중심화된 에이전트들은 효과적인 협동을 이룰 수 없었다.
• LSTM으로 처리되는 저수준 통신 채널이 고수준 중심화된 통신보다 우수한 성능을 보였으며, 이는 다중 에이전트 관측치의 조기에 융합하는 것이 학습에 유리함을 시사한다.