[논문 리뷰] Reinforcement Learning Enhanced Quantum-inspired Algorithm for Combinatorial Optimization

Dmitrii Beloborodov, Alexander E. Ulanov외 3명|arXiv (Cornell University)|2020. 02. 11.

Quantum Computing Algorithms and Architecture참고 문헌 31인용 수 4

한 줄 요약

이 논문은 이징 모델 최적화를 위한 양자 힌트 기반 알고리즘인 SimCIM에서 정규화 파라미터를 동적으로 조정하는 강화학습(RL) 에이전트를 제안한다. 국소 최적해에서 벗어나기 위해 새로운 보상 메커니즘인 재스케일링된 순위 보상(R3)을 도입하여 성능을 향상시켰다. 이 방법은 기준 히وري스틱 및 블랙박스 최적화(CMA-ES 등)보다 뛰어난 성능을 보이며, 특히 무작위 문제에서 미리 훈련된 에이전트를 활용한 전이 학습과 조합했을 때 고품질 솔루션을 고확률로 발견할 수 있다.

ABSTRACT

Quantum hardware and quantum-inspired algorithms are becoming increasingly popular for combinatorial optimization. However, these algorithms may require careful hyperparameter tuning for each problem instance. We use a reinforcement learning agent in conjunction with a quantum-inspired algorithm to solve the Ising energy minimization problem, which is equivalent to the Maximum Cut problem. The agent controls the algorithm by tuning one of its parameters with the goal of improving recently seen solutions. We propose a new Rescaled Ranked Reward (R3) method that enables stable single-player version of self-play training that helps the agent to escape local optima. The training on any problem instance can be accelerated by applying transfer learning from an agent trained on randomly generated problems. Our approach allows sampling high-quality solutions to the Ising problem with high probability and outperforms both baseline heuristics and a black-box hyperparameter optimization approach.

연구 동기 및 목표

• 양자 힌트 기반 조합 최적화 알고리즘(예: SimCIM)에서 하이퍼파ram터 튜닝의 과제를 해결하기 위해, 최적 성능을 내기 위해 문제에 맞는 설정이 필요한 문제를 다루기 위해.
• 이징 에너지 최소화 문제(최대 컷 문제와 동치)를 해결함에 있어, 강화학습을 이용한 파라미터 자동 적응을 통해 솔루션 품질 향상과 수렴 속도 향상을 도모하기 위해.
• 많은 부분적으로 최적의 솔루션이 유사한 에너지 값을 가지는 이징 최적화에서 국소 최적해에 갇히는 문제를 해결하기 위해, 이러한 함정을 벗어나도록 유도하는 보상 메커니즘을 설계하기 위해.
• 무작위로 생성된 문제에서 사전 훈련된 에이전트를 활용해 새로운 문제 인스턴스에 대한 훈련을 가속화함으로써 샘플 효율성을 향상시키기 위해.
• SimCIM과 이징 모델을 초월하여, 다른 연속적 근사 기반 이산 최적화 알고리즘으로의 일반화를 가능하게 하기 위해.

제안 방법

• 강화학습 에이전트는 최적화 과정에서 솔루션의 동적 진화를 지배하는 정규화(이득-손실) 함수를 제어하기 위해 훈련된다.
• 재스케일링된 순위 보상(R3) 메커니즘은 최근 시행들 중 현재 솔루션의 컷 값의 상대 순위에 기반해 보상을 할당하며, 자주 방문되는 국소 최적해에는 낮은 보상을, 더 나은 솔루션에는 고정된 보상을 부여한다.
• R3는 솔루션 빈도에 민감한 보상 구조를 제공함으로써 안정적인 단일 플레이어 자기대결 훈련을 가능하게 하며, 이는 솔루션 공간의 새로운 고품질 영역 탐색을 장려한다.
• 전이 학습은 무작위로 생성된 다양한 이징 문제 인스턴스에서 RL 에이전트를 사전 훈련한 후, 새로운 문제의 파라미터에 적응하기 위해 특성 기반 선형 조절(FiLM)을 사용해 타겟 문제에서 미세조정하는 방식으로 적용된다.
• 정책 네트워크는 가치 함수를 추정하기 위한 크리틱 네트워크와 함께 딥 강화학습을 사용해 훈련되며, GPU 구현을 통해 훈련 속도가 가속화된다.
• 본 방법은 표준 Gset 벤치마크 인스턴스에서 평가되었으며, 고정 파라미터 SimCIM 및 CMA-ES와의 솔루션 품질과 수렴 속도를 비교하였다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 이징 최적화 문제에서 SimCIM 알고리즘의 정규화 파라미터를 효과적으로 자동 튜닝하여 솔루션 품질을 향상시킬 수 있는가?
• RQ2 제안된 재스케일링된 순위 보상(R3) 메커니즘은 표준 보상 체계(R2)와 비교해 안정적인 훈련과 국소 최적해 탈출에 효과적인가?
• RQ3 무작위 문제에서 사전 훈련된 에이전트로부터의 전이 학습이, 새로운 실세계 문제 인스턴스에 대한 미세조정을 얼마나 가속화하고 성능 향상에 기여하는가?
• RQ4 전통적 히وري스틱 및 CMA-ES와 같은 블랙박스 하이퍼파ram터 최적화 방법과 비교해, RL 기반 SimCIM의 성능과 샘플 효율성은 어떠한가?
• RQ5 제안된 방법은 SimCIM과 이징 모델을 초월해, 다른 연속적 근사 기반 이산 최적화 알고리즘으로 일반화 가능한가?

주요 결과

• R3 방법은 국소 최적해에서 벗어나고 안정적인 훈련을 가능하게 하며, 더 나은 솔루션을 발견한 후 가치 손실가 급격히 감소하는 것으로 확인되었다. 반면 R2 기준선은 국소 최적해에 대한 무작위 보상으로 인해 불안정한 훈련을 겪었다.
• FiLM과 R3를 모두 적용한 사전 훈련된 에이전트는 아블레이션된 버전보다 더 빠른 수렴과 높은 솔루션 품질을 보였으며, 전이 학습 접근법은 문제 해결에 필요한 에피소드 수를 감소시켰다.
• Gset 벤치마크의 G2 인스턴스에서 R3 기반 에이전트는 500회의 미세조정 에피소드 후 0.80의 해결 비율을 기록했으며, 수동으로 튜닝된 파라미터를 가진 기준 SimCIM(0.70)과 CMA-ES(0.53)를 모두 초월했다.
• 아블레이션 연구는 FiLM과 R3가 모두 필수적임을 확인했다: 둘 다 없는 에이전트는 수렴 속도가 현저히 느리고 솔루션 품질도 낮았다.
• RL 기반 SimCIM은 히وري스틱 기준선과 CMA-ES보다 고품질 솔루션을 더 높은 확률로 샘플링할 수 있었으며, 다양한 문제 인스턴스에 걸쳐 뛰어난 강건성과 적응 능력을 보였다.
• 이 방법은 SimCIM이나 이징 모델에 국한되지 않으며, 이산 최적화 문제의 연속적 근사 기반 알고리즘에 적용 가능한 일반화 가능성이 있다.