[논문 리뷰] Exploratory Combinatorial Optimization with Reinforcement Learning

Thomas D. Barrett, William R. Clements외 2명|arXiv (Cornell University)|2019. 09. 09.

Metaheuristic Optimization Algorithms Research참고 문헌 35인용 수 21

한 줄 요약

이 논문은 기존 방법이 해결책을 되돌릴 수 없게 구성하는 데에 한계가 있다는 점을 해결하기 위해, 해결책 부분집합에서 정점을 동적으로 추가하거나 제거함으로써 점진적으로 해결책을 개선할 수 있도록 허용하는 강화학습 프레임워크인 ECO-DQN을 제안한다. 이 방법은 가역적인 결정과 그래프 신경망을 활용한 탐색 유도를 통해 최대 컷 문제에서 최신 기술 수준(SOTA) 성능을 달성하며, 훈련 중에 볼 수 없었던 그래프 분포로의 일반화 능력이 뛰어나다.

ABSTRACT

Many real-world problems can be reduced to combinatorial optimization on a graph, where the subset or ordering of vertices that maximize some objective function must be found. With such tasks often NP-hard and analytically intractable, reinforcement learning (RL) has shown promise as a framework with which efficient heuristic methods to tackle these problems can be learned. Previous works construct the solution subset incrementally, adding one element at a time, however, the irreversible nature of this approach prevents the agent from revising its earlier decisions, which may be necessary given the complexity of the optimization task. We instead propose that the agent should seek to continuously improve the solution by learning to explore at test time. Our approach of exploratory combinatorial optimization (ECO-DQN) is, in principle, applicable to any combinatorial problem that can be defined on a graph. Experimentally, we show our method to produce state-of-the-art RL performance on the Maximum Cut problem. Moreover, because ECO-DQN can start from any arbitrary configuration, it can be combined with other search methods to further improve performance, which we demonstrate using a simple random search.

연구 동기 및 목표

• 기존의 강화학습 기반 조합 최적화 방법에서의 해결책 구성의 불가역성 문제를 해결하기 위해.
• 테스트 시점에 해결책을 탐색하고 개선할 수 있도록, 해결책 집합에서 정점의 추가 및 제거를 허용함으로써 에이전트가 해결책을 탐색할 수 있도록 하기 위해.
• 해결책이 정점의 부분집합인 모든 그래프 기반 조합 최적화 문제에 적용 가능한 유연한 프레임워크를 개발하기 위해.
• 지속적인 탐색과 동적 결정을 통해 최대 컷 문제에서 성능을 향상시키기 위해.
• 예측할 수 없는 그래프 분포로의 일반화 능력과 다른 탐색 히우리스틱과의 호환성을 입증하기 위해.

제안 방법

• 프레임워크는 깊이 신경망(DQN)과 메시지 전달 신경망(MPNN)을 사용하여 그래프의 구조를 인코딩하고 각 정점의 Q-값을 계산한다.
• 각 단계에서 에이전트는 현재 해결책 집합에 정점을 추가하거나 제거할 수 있도록 선택하며, 이는 가역적이고 탐색적인 행동을 가능하게 한다.
• 각 정점의 Q-값은 이웃 정점과 전역 그래프 상태에서 정보를 집계한 그래프 임베딩을 사용하여 계산된다.
• MPNN는 국소적 이웃과 간선 특징을 기반으로 정점 임베딩을 업데이트하기 위해 가중치가 학습 가능한 3라운드의 메시지 전달을 수행한다.
• Q-값 헤드는 전역 그래프 임베딩과 개별 정점 임베딩을 결합하여 행동 가치를 예측한다.
• 훈련은 경험 재생, 타겟 네트워크, 클리핑된 Q-값 예측을 사용하여 학습 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 인퍼런스 중에 가역적인 결정을 허용함으로써 강화학습 에이전트가 조합 최적화 문제에서 더 높은 성능을 달성할 수 있는가?
• RQ2 불가역적이고 점진적인 구성 방식과 비교해 볼 때, 동적으로 해결책 공간을 탐색할 수 있는 능력이 해결책 품질 향상에 기여하는가?
• RQ3 제안된 ECO-DQN 프레임워크가 훈련 중에 볼 수 없었던 크기와 구조를 가진 그래프로 일반화될 수 있는가?
• RQ4 최대 컷 문제에서 ECO-DQN은 기존 최신 기술 수준(S2V-DQN) 방법과 비교해 어떻게 성능을 내는가?
• RQ5 ECO-DQN은 랜덤 초기화와 같은 다른 탐색 히우리스틱과 효과적으로 조합되어 성능 향상에 기여할 수 있는가?

주요 결과

• ECO-DQN은 최대 컷 문제에서 기존의 S2V-DQN 베이스라인을 능가하는 최신 기술 수준 성능을 달성한다.
• 성능 향상은 에이전트가 이전 결정을 되돌릴 수 있고 해결책 공간을 동적으로 탐색할 수 있다는 점에서 기인한다.
• ECO-DQN은 훈련 시에 볼 수 없었던 크기와 다른 구조를 가진 그래프에 대해서도 잘 일반화되며, 최대 2000개 정점의 그래프에서도 성능이 우수하다.
• S2V-DQN와 유사한 단계당 계산 비용을 유지하며, 500개 정점 그래프에서 액션당 평균 6.64±0.09 ms의 시간이 소요된다.
• ECO-DQN과 랜덤 초기화를 조합하면 성능 향상이 뚜렷하게 향상되어 다른 탐색 전략과의 호환성이 입증된다.
• 제거 실험 결과에서 가역적 행동과 적절한 보상 설계가 관찰된 성능 향상에 필수적임을 확인할 수 있다.