[논문 리뷰] Conformal Prediction Intervals for Markov Decision Process Trajectories

Thomas G. Dietterich, Jesse Hostetler|arXiv (Cornell University)|2022. 06. 10.

Simulation Techniques and Applications인용 수 6

한 줄 요약

이 논문은 마르코프 결정 과정(MDP)의 궤적에 대해 궤적 기반 예측 구간을 생성하는 conformal prediction 방법인 SQBoxCI를 제안한다. 이는 모든 시간 단계에서 유한 표본 커버리지 $1 - \delta$를 보장한다. 양자수회귀와 conformal 보정을 조합함으로써 기존의 보너페르니 기반 방법보다 더 날카운, 연관 다변량 구간을 생성한다. 이는 침입종 관리 및 StarCraft2 작업에서 강력한 경험적 커버리지로 검증되었다.

ABSTRACT

Before delegating a task to an autonomous system, a human operator may want a guarantee about the behavior of the system. This paper extends previous work on conformal prediction for functional data and conformalized quantile regression to provide conformal prediction intervals over the future behavior of an autonomous system executing a fixed control policy on a Markov Decision Process (MDP). The prediction intervals are constructed by applying conformal corrections to prediction intervals computed by quantile regression. The resulting intervals guarantee that with probability $1-δ$ the observed trajectory will lie inside the prediction interval, where the probability is computed with respect to the starting state distribution and the stochasticity of the MDP. The method is illustrated on MDPs for invasive species management and StarCraft2 battles.

연구 동기 및 목표

• 개별 시간 단계가 아닌 전체 MDP 궤적에 대해 유한 표본, $1-\delta$ 커버리지 보장을 제공하는 다변량 예측 구간을 확보하는 것.
• 다변량 예측에서 보너페르니 보정의 한계를 극복하기 위해 궤적 행동을 함께 모델링함으로써 더 날카우며 정보가 풍부한 구간을 제공하는 것.
• 극단적 분위수 추정에 강건하며, 자율 시스템 배포를 위한 해석 가능하고 안전 중심의 신뢰 구간을 제공하는 방법을 개발하는 것.
• 학습 데이터에서 위반 패턴을 분석함으로써 예측 실패의 조기 경고를 가능하게 하여, 안전 중심 영역에서 인간-AI 협업을 지원하는 것.

제안 방법

• 각 시간 단계에서 시작 상태 $s_0$ 를 함수로 사용하여 행동 벡터의 $\delta/2$ 및 $1-\delta/2$ 분위수를 예측하기 위해 분위수 회귀를 사용한다.
• 시간 단계와 차원 간에 분위수 회귀 결과를 재스케일링하고 conformal하게 처리함으로써 다변량 conformal 예측 구간을 계산하기 위해 SBox 알고리즘을 적용한다.
• 각 시간 단계의 분위수 예측을 먼저 계산한 후, 연관 궤적 기반 커버리지 보장을 위해 conformal 보정을 적용하는 두 단계 방법인 SQBoxCI를 도입한다.
• 유한 표본 유효성을 확보하기 위해 분할-conformal 예측을 사용하며, 이 보장은 시작 상태의 분포 $P_0$ 에 대해 유지된다.
• 진짜 궤적이 예측 구간을 벗어나는 빈도를 평가하기 위해 초과 측도를 사용하며, 최대 초과 값을 사용해 최종 경계를 校정한다.
• 상태 공간에서 위반의 군집을 탐지하기 위한 히우리스틱 검사를 통합함으로써, 안전 중심 설정에서 해석 가능성 향상과 임의의 양성 결과 감소를 도모한다.

실험 결과

연구 질문

• RQ1 MDP에서 다변량, 궤적 기반 예측 구간으로 확장된 conformal 예측이 유한 표본 커버리지를 유지하면서 효과적으로 적용될 수 있는가?
• RQ2 보너페르니 보정을 적용한 단변량 구간과 비교했을 때, 연관 conformal 접근법은 구간의 날카움과 경험적 커버리지 측면에서 어떻게 성능을 내는가?
• RQ3 이 방법은 상태 공간에서 예측 구간이 체계적으로 위반되는 영역을 탐지하고 경고할 수 있는가? 이를 통해 인간 운영자에게 조기 경고를 제공할 수 있는가?
• RQ4 고차원 궤적 공간에서 작은 학습 샘플 크기와 극단적 분위수 추정에 대해 이 방법은 얼마나 강건한가?

주요 결과

• SQBoxCI 방법은 Tamarisk 침입종 관리 및 StarCraft2 전투 작업 모두에서 명목상의 $1 - \delta$ 수준에 가까운 경험적 커버리지를 달성하였다.
• 일반적으로 $\delta = 0.2$ 및 $\delta = 0.1$ 일 때, 총 초과 기반 경계 방법은 미래 행동을 합리적으로 잘 묘사하였다. 그러나 Tamarisk 작업에서 $\delta = 0.05$ 일 때 성능이 저하되었다.
• conformal 보정은 보너페르니 보정을 적용한 단변량 구간보다 특히 고차원 설정에서 유의미하게 더 날카운 예측 구간을 생성하였다.
• 실험 결과, 안정적이고 날카로운 conformal 분위수 추정을 위해 최소 500개의 궤적이 필요하다는 점이 확인되어 데이터 효율성의 한계를 드러냈다.
• StarCraft2 작업에서 위반의 군집이 발견되었으며, 일부 시작 상태가 항상 구간 위반을 유발한다는 점을 시사하였다. 이는 학습 데이터 검토를 통해 방법이 이를 식별하는 데 도움이 될 수 있음을 보여준다.
• 이 방법은 해석 가능하고 반응형 조건부 예측 구간을 제공하며, 위반이 잘 분포되어 있는 경우, 개별 시작 상태에 대해 조건부 유효성과 거의 동일한 행동을 보인다.