[논문 리뷰] Constrained optimization under uncertainty for decision-making problems: Application to Real-Time Strategy games

Valentin Antuori, Florian Richoux|arXiv (Cornell University)|2019. 01. 03.

Constraint Satisfaction and Optimization참고 문헌 21인용 수 5

한 줄 요약

이 논문은 결정 이론에서 유래한 순위 기반 기대 효용(Rank Dependent Utility, RDU)을 통합하여, 표준 제약 최적화 문제(COP) 공식화 내에서 불확실성 하에 제약 최적화 문제를 해결하는 새로운 방법을 제안한다. 이는 새로운 공식화나 솔버 없이도 일반 제약 솔버가 불확실성을 다룰 수 있도록 하며, 부분 관찰 가능한 환경에서 2018년 µRTS AI 경쟁에서 우승한 봇을 통해 검증되었다. 이 봇은 RDU 기반 의사결정을 통해 유닛 생산 전략을 수립하였다.

ABSTRACT

Decision-making problems can be modeled as combinatorial optimization problems with Constraint Programming formalisms such as Constrained Optimization Problems. However, few Constraint Programming formalisms can deal with both optimization and uncertainty at the same time, and none of them are convenient to model problems we tackle in this paper. Here, we propose a way to deal with combinatorial optimization problems under uncertainty within the classical Constrained Optimization Problems formalism by injecting the Rank Dependent Utility from decision theory. We also propose a proof of concept of our method to show it is implementable and can solve concrete decision-making problems using a regular constraint solver, and propose a bot that won the partially observable track of the 2018 {\mu}RTS AI competition. Our result shows it is possible to handle uncertainty with regular Constraint Programming solvers, without having to define a new formalism neither to develop dedicated solvers. This brings new perspective to tackle uncertainty in Constraint Programming.

연구 동기 및 목표

• 조합 최적화 문제에서 동시에 최적화와 불확실성을 다룰 수 있는 제약 프로그래밍 공식화의 부족을 해결하기 위해.
• 제약 조건은 그대로이지만, 불확실성이 목적 함수에만 영향을 주는 단일 단계 의사결정 문제를 모델링하기 위해.
• RDU와 같은 의사결정 이론적 효용 모델을 통합하여 표준 COP 솔버가 불확실성을 다룰 수 있도록 하기 위해.
• 부분 관찰 가능한 µRTS 게임 환경에서 경쟁적인 AI 봇을 통해 실용적 적용 가능성을 입증하기 위해.
• 실시간 전략 게임에서 불확실성 하에 RDU 기반 최적화가 기대 효용과 무작위 전략보다 뛰어난 성능을 보이는지 확인하기 위해.

제안 방법

• 의사결정 이론에서 유래한 순위 기반 기대 효용(RDU) 프레임워크를 불확실성 하에서 COP의 해를 순위 매기기 위해 적응시킨다.
• 목적 함수를 효용 점수로 사용하고, RDU의 누적 확률 가중치를 적용하여 의사결정 결과를 순위 매긴다.
• 결정 문제를 결정론적 제약 조건을 가진 표준 COP로 모델링하고, RDU로 변환된 목적 함수를 사용한다.
• 위험 성향을 반영하기 위해 낙관적 및 비관적 가중치 함수(φ)를 모두 적용한다.
• GHOST라는 제약 솔버에 모델을 구현하여, 안개의 전쟁(fog-of-war) 하에서 µRTS에서 유닛 생산 전략을 생성한다.
• 스토캐스틱한 결과(적의 전략)가 드러나기 전에 결정을 내리는 비적응형 단일 단계 의사결정 모델을 사용한다.

실험 결과

연구 질문

• RQ1 표준 COP 공식화는 새로운 공식화나 솔버 없이도 목적 함수의 불확실성을 다룰 수 있는가?
• RQ2 부분 관찰 가능한 RTS 게임에서 RDU 기반 최적화는 기대 효용과 무작위 의사결정과 비교해 어떻게 성능을 내는가?
• RQ3 RDU를 통합한 COP 기반 접근법은 불확실성 하에서 기존 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ4 위험 성향(낙관적 vs. 비관적 φ)은 단기 시간 간격의 RTS 의사결정에서 성능에 어떤 영향을 미치는가?
• RQ5 단지 표준 제약 솔버와 의사결정 이론적 효용 모델만을 사용하여 불확실성 인식 최적화를 구현하는 것이 가능한가?

주요 결과

• RDU 기반 접근법은 2018년 µRTS AI 경쟁에서 기대 효용과 무작위 전략을 모두 압도하여 부분 관찰 트랙에서 우승하였다.
• 작은 지도(8x8, 12x12, 16x16)에서는 비관적 φ를 사용한 RDU 방법이 가장 높은 정규화 점수(59.5)를 기록했으며, 기대 효용(56.5)과 기준점(52.5)을 모두 초월했다.
• 큰 지도(24x24, 32x32, 64x64)에서는 낙관적 φ를 사용한 RDU 방법이 최고 점수(81.5)를 기록했으며, 기준점(76.0)과 기대 효용(78.5)을 크게 앞서갔다.
• 비관적 RDU 변형은 작은 지도에서 더 뛰어난 성능을 보였는데, 이는 좁은 공간에서 불리한 적의 구성에 즉각 대응이 필요하기 때문일 것이다.
• 이 방법은 표준 COP 솔버를 수정하거나 공식화를 변경하지 않고도 불확실성을 다룰 수 있도록 하여 실현 가능성과 실용성을 입증하였다.
• 결과는 RDU 기반 효용 모델링이 복잡하고 부분 관찰 가능한 환경에서도 제약 솔버가 불확실성 하에서 효과적으로 의사결정을 순위 매기고 선택할 수 있음을 확인시켰다.