[논문 리뷰] Learning MDPs from Features: Predict-Then-Optimize for Sequential Decision Problems by Reinforcement Learning

Kai Wang, Sanket Shah외 4명|arXiv (Cornell University)|2021. 06. 06.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 강화학습 최적성 조건—벨먼 및 정책 그래เดียน트—을 예측 모델 학습 파이프라인에 통합하여 결정 중심 학습을 순차적 결정 문제로 확장한다. 큰 상태/행동 공간과 고차원 정책으로 인한 계산 불가능성을 극복하기 위해 비편향 샘플링과 저랭크 헤시안 근사 기법을 제안하며, 두 단계 학습 대비 더 낫게 일반화된 성능을 달성한다.

ABSTRACT

In the predict-then-optimize framework, the objective is to train a predictive model, mapping from environment features to parameters of an optimization problem, which maximizes decision quality when the optimization is subsequently solved. Recent work on decision-focused learning shows that embedding the optimization problem in the training pipeline can improve decision quality and help generalize better to unseen tasks compared to relying on an intermediate loss function for evaluating prediction quality. We study the predict-then-optimize framework in the context of sequential decision problems (formulated as MDPs) that are solved via reinforcement learning. In particular, we are given environment features and a set of trajectories from training MDPs, which we use to train a predictive model that generalizes to unseen test MDPs without trajectories. Two significant computational challenges arise in applying decision-focused learning to MDPs: (i) large state and action spaces make it infeasible for existing techniques to differentiate through MDP problems, and (ii) the high-dimensional policy space, as parameterized by a neural network, makes differentiating through a policy expensive. We resolve the first challenge by sampling provably unbiased derivatives to approximate and differentiate through optimality conditions, and the second challenge by using a low-rank approximation to the high-dimensional sample-based derivatives. We implement both Bellman--based and policy gradient--based decision-focused learning on three different MDP problems with missing parameters, and show that decision-focused learning performs better in generalization to unseen tasks.

연구 동기 및 목표

• 시험 MDP의 트레이젝터리가 이용 불가능한 상황에서 환경 특징으로부터 MDP 파라미터를 학습하는 데 도전한다.
• 큰 상태 공간과 행동 공간으로 인해 MDP 최적성 조건을 미분하는 데 발생하는 계산 불가능성을 해결한다.
• 모델 프리 러닝 강화학습에서 고차원 신경망 정책을 미분하는 데 발생하는 높은 계산 비용을 줄인다.
• 예측 정확도가 아닌 최종 결정 품질을 직접 최적화함으로써, 미리보기 없는 MDP로의 일반화를 향상시킨다.
• 딥 강화학습을 통해 정적 최적화에서 순차적 결정 문제로의 결정 중심 학습을 확장한다.

제안 방법

• MDP 최적성 조건(벨먼 오차 최소화 및 정책 그래디언트 최대화)을 미분 가능성을 확보하기 위해 카룩-쿤-터커(Karush–Kuhn–Tucker, KKT) 조건으로 재구성한다.
• KKT 조건의 1차 및 2차 도함수를 근사하기 위해 비편향 샘플링을 사용하여 MDP를 통해 역전파를 가능하게 한다.
• 표본 기반 헤시안 행렬에 대해 저랭크 근사를 적용하여 고차원 정책 공간에서의 메모리 및 계산 비용을 감소시킨다.
• 엔드 투 엔드 학습을 위한 벨먼 기반 및 정책 그래디언트 기반 결정 중심 학습 프레임워크를 모두 구현한다.
• 온라인 롤아웃 없이도 시험 MDP에서 정책 성능을 평가하기 위해 오프라인 오프정책 평가(Offline Off-Policy Evaluation, OPE)를 사용한다.
• 예측 정확도를 최적화하는 대신 최종 결정 품질을 최적화하는 두 단계 학습과 비교한다.

실험 결과

연구 질문

• RQ1 알 수 없는 파라미터를 가진 MDP에 대해 결정 중심 학습을 순차적 결정 문제에 효과적으로 확장할 수 있는가?
• RQ2 상태 공간과 행동 공간이 크거나 연속적인 경우, MDP 최적성 조건을 어떻게 미분할 수 있는가?
• RQ3 고차원 신경망 정책을 강화학습에서 효율적으로 역전파할 수 있도록 하는 계산 근사는 무엇인가?
• RQ4 예측 정확도 기반의 두 단계 학습 대비 결정 중심 학습이 더 나은 일반화 성능을 보이는가?
• RQ5 다양한 헤시안 근사 기법(항등, 우드베리)은 결정 중심 강화학습에서 성능과 안정성에 어떤 영향을 미치는가?

주요 결과

• 모든 세 가지 벤치마크 문제에서, 시험 MDP에 대해 오프라인 오프정책 평가(OPE) 성능 측면에서 결정 중심 학습이 두 단계 학습보다 뛰어난 성능을 보였다.
• 트레이젝터리가 무작위일 경우, 가치 함수의 더 넓은 커버리지 덕분에 벨먼 기반 접근이 정책 그래디언트 기반 접근보다 일관되게 더 나은 일반화 성능을 보였다.
• 근사 최적 경로를 따라가는 트레이젝터리일 경우, 정책 그래디언트 기반 접근이 최적 경로를 따라 누적 보상 최대화를 직접 최적화하므로 성능이 더 좋았다.
• 항등 헤시안 근사 기법은 정확도가 떨어지지만, 비선형 OPE 목표함수에서 국소 최적점 탈출을 돕는 높은 분산으로 인해 가끔 더 나은 성능을 내기도 했다.
• 우드베리 저랭크 헤시안 근사는 정확성과 계산 비용 사이의 유리한 트레이드오프를 제공하여, 전체 헤시안 계산 대비 런타임과 메모리 사용량을 줄였다.
• 큰 정책 공간(예: >100 에포크)에서는 전체 헤시안 계산이 계산적으로 불가능하지만, 저랭크 근사는 정책 차원에 대해 선형적으로 확장되어 학습 가능하게 만들었다.