[논문 리뷰] Optimizing over a Restricted Policy Class in Markov Decision Processes

Ershad Banijamali, Yasin Abbasi-Yadkori외 2명|arXiv (Cornell University)|2018. 02. 26.

Reinforcement Learning in Robotics참고 문헌 2인용 수 3

한 줄 요약

이 논문은 마르코프 결정 과정(MDPs)에서 알려진 기저 정책들의 볼록 결합으로 정의된 제한된 정책 클래스에 대한 효율적인 최적화 알고리즘을 제안한다. 점유도 측정값의 이중 공간으로 문제를 재구성하고, 확률적 하향 기울기 방법을 사용함으로써, 상태 수에 선형적이고 기저 정책 수에 다항식 시간의 의존성을 가지며, 정책 기울기 방법에 비해 상당한 계산적 이점을 제공하는 근사 최적 성능를 달성한다. 특히 정책 평가가 비용이 많이 들 경우에 유의미한 성능 향상을 이룬다.

ABSTRACT

We address the problem of finding an optimal policy in a Markov decision process under a restricted policy class defined by the convex hull of a set of base policies. This problem is of great interest in applications in which a number of reasonably good (or safe) policies are already known and we are only interested in optimizing in their convex hull. We show that this problem is NP-hard to solve exactly as well as to approximate to arbitrary accuracy. However, under a condition that is akin to the occupancy measures of the base policies having large overlap, we show that there exists an efficient algorithm that finds a policy that is almost as good as the best convex combination of the base policies. The running time of the proposed algorithm is linear in the number of states and polynomial in the number of base policies. In practice, we demonstrate an efficient implementation for large state problems. Compared to traditional policy gradient methods, the proposed approach has the advantage that, apart from the computation of occupancy measures of some base policies, the iterative method need not interact with the environment during the optimization process. This is especially important in complex systems where estimating the value of a policy can be a time consuming process.

연구 동기 및 목표

• 기본적으로 양호하거나 안전한 기저 정책들의 집합으로 정의된 제한된 정책 클래스 내에서 최적 정책을 찾는 문제에 대응한다.
• 이 클래스 내에서 정확하거나 근사 최적화를 수행하는 것이 NP-난해임을 증명한 바, 계산적으로 비가능한 문제를 해결한다.
• 점유도 측정값 간의 충분한 겹침이 있는 조건에서, 근사 최적 성능을 달성하는 실용적이고 효율적인 알고리즘을 개발한다.
• 정책 평가가 비용이 많이 들기 때문에 환경 상호작용에 의존하는 것을 줄여, 복잡한 시스템에서 더 빠른 수렴을 가능하게 한다.
• 역방향 시뮬레이터와 중요도 가중치를 필요로 하지 않는 방법을 제공함으로써, 구현을 단순화하고 이론적 오차 범위를 강화한다.

제안 방법

• 기저 정책의 점유도 측정값의 선형 조합으로 구성된 공간인 점유도 측정값의 이중 공간에서 정책 최적화 문제를 재구성한다.
• Abbasi-Yadkori 등(2014)의 영감을 얻은 볼록 완화 기법을 사용하여 제약 위반 문제를 다루고 효율적인 최적화를 가능하게 한다.
• 비볼록이지만 이완을 통해 근사 가능한 이중 목표 함수를 최소화하기 위해 확률적 하향 기울기 방법을 적용한다.
• 점유도 측정값의 선형 조합을 정규화하여 유효한 정책을 구성함으로써, 최적화 도중 정방향 시뮬레이션을 필요로 하지 않는다.
• 기저 정책의 정적 점유도 측정값을 사전에 오프라인으로 계산한 후, 더 이상 환경 상호작용 없이 이중 공간에서 모든 최적화를 수행한다.
• 점유도 측정값 간의 겹침을 활용하여, 원래 공간이 NP-난해하더라도 이중 공간에서는 비자명하고 고성능의 정책을 생성할 수 있음을 보장한다.

실험 결과

연구 질문

• RQ1 MDPs에서 유한한 수의 기저 정책들의 볼록 결합으로 정의된 제한된 정책 클래스에 대해 효율적인 최적화가 가능한가?
• RQ2 기저 정책 수에 대해 다항식 시간 복잡도이고 상태 수에 대해 선형 의존성을 가지며, 이 제한된 클래스에서 근사 최적 성능를 달성할 수 있는가?
• RQ3 기저 정책의 점유도 측정값 간 겹침이 이중 공간 최적화의 성능와 가능성을 어떻게 영향을 주는가?
• RQ4 특히 정책 평가가 비용이 많이 들 경우, 최적화 도중 반복적인 환경 상호작용을 제거할 수 있는가?
• RQ5 이 설정에서 전통적인 정책 기울기 방법에 비해 점유도 측정값의 이중 공간을 사용할 때 이론적 및 실증적 이점은 무엇인가?

주요 결과

• MDPs에서 기저 정책들의 볼록 결합에 대한 최적화 문제는 정확하게 해결하거나 임의의 정밀도로 근사하는 데 있어 NP-난해하다.
• 기저 정책의 점유도 측정값 간에 상당한 겹침이 있는 경우, 제안된 이중 공간 알고리즘이 기저 정책들의 최적 볼록 조합과 거의 동일한 성능의 정책을 찾는다.
• 알고리즘은 상태 수에 대해 선형 시간, 기저 정책 수에 대해 다항식 시간 내에 실행되며, 정책 기울기 방법에 비해 강력한 계산적 이점을 제공한다.
• 8-큐 문제에서 이중 공간 방법은 최적의 이중 가중치 θ = [1.1246, -0.1143, -0.0102]를 사용해 비용 20.59를 달성했으며, 기저 정책들을 초월하고 정책 기울기 결과인 19.14에 가까운 성능를 보였지만 계산 비용은 훨씬 낮았다.
• 중요도 가중치와 역방향 시뮬레이터가 필요 없어, 이전의 이중 공간 접근법에 비해 구현이 단순해지고 오차 범위가 더욱 강화된다.
• 실증 결과에 따르면, 정책 평가가 비용이 많이 들기 때문에 비용이 많이 드는 환경에서 이중 공간의 확률적 하향 기울기 방법이 정책 기울기 방법보다 더 빠르고 분산이 적은 수렴을 보였다.