[논문 리뷰] Off-Policy Evaluation for Action-Dependent Non-Stationary Environments

Yash Chandak, Shiv Shankar외 4명|arXiv (Cornell University)|2023. 01. 24.

Multi-Criteria Decision MakingDecision Sciences인용 수 3

한 줄 요약

이 논문은 행동에 의존하는 변화가 있는 비정상 환경을 위한 새로운 이방법(off-policy) 평가 방법인 OPEN을 제안한다. 이는 이중 역사적 추론(double counterfactual reasoning)과 중요도 가중치가 부여된 도구변수 회귀를 사용하여 편향과 분산을 줄인다. OPEN은 활성, 수동, 하이브리드 비정상 설정 전반에서 미래 정책 성능 예측에 뛰어난 성능을 발휘하며, 수동 케이스조차도 이전 방법들을 능가한다.

ABSTRACT

Methods for sequential decision-making are often built upon a foundational assumption that the underlying decision process is stationary. This limits the application of such methods because real-world problems are often subject to changes due to external factors (passive non-stationarity), changes induced by interactions with the system itself (active non-stationarity), or both (hybrid non-stationarity). In this work, we take the first steps towards the fundamental challenge of on-policy and off-policy evaluation amidst structured changes due to active, passive, or hybrid non-stationarity. Towards this goal, we make a higher-order stationarity assumption such that non-stationarity results in changes over time, but the way changes happen is fixed. We propose, OPEN, an algorithm that uses a double application of counterfactual reasoning and a novel importance-weighted instrument-variable regression to obtain both a lower bias and a lower variance estimate of the structure in the changes of a policy's past performances. Finally, we show promising results on how OPEN can be used to predict future performances for several domains inspired by real-world applications that exhibit non-stationarity.

연구 동기 및 목표

• 기존 방법이 비정상적 동역학으로 인해 실패하는 활성, 수동, 또는 하이브리드 비정상성 환경에서 이방법 평가의 근본적 과제를 해결한다.
• 정상성 또는 재설정/에르고딕성에 의존하는 기존 이방법 평가 방법의 한계를 극복하며, 실세계의 장기적 수평 데이터에서는 이러한 가정이 성립하지 않음을 고려한다.
• 환경 모델을 완전히 추정할 필요 없이 비정상 환경 내의 구조적 변화를 추론하는 통합 프레임워크를 개발한다.
• 비정상 환경에서 행동 정책의 이력 데이터만을 사용하여 목표 정책의 향후 성능을 신뢰할 수 있게 예측할 수 있도록 한다.
• 모델에 의존하지 않으며 하이퍼파rameter 선택에 둔감하고, 동시에 활성 및 수동 비정상성 모두를 효과적으로 다룰 수 있는 방법을 제공한다.

제안 방법

• 비정상성이 시간에 따라 변화하지만 변화 메커니즘이 고정되어 있음을 전제로 하는 고차 정상성 가정을 도입하여, 구조적 변화 패tern을 추론할 수 있도록 한다.
• 이중 역사적 추론을 적용: 첫 번째로 중요도 샘플링을 사용해 과거 정책 성능의 노이즈 제거된 추정치를 생성하고, 두 번째로 자동회귀 모델링을 통해 향후 성능을 예측한다.
• 과거 성능 추정의 분산을 줄이기 위해 이중 단계의 도구변수 회귀를 사용하여 중요도 샘플링 추정치를 노이즈 제거한다.
• 지난 성능의 지연된 값을 활용한 자동회귀 시계열 모델링을 통해 향후 성능을 예측함으로써 모델 잘못 설정에 대해 강건성을 확보한다.
• 행동에 의존하는 비정상성으로 인한 분포 이탈을 보정하기 위해 중요도 가중 회귀를 활용하여 다양한 정책 행동 간 일관된 추정을 보장한다.
• 모델에 의존하지 않으며 에피소드적 및 계속적 설정 모두에 적용 가능하도록 설계하여 재설정 또는 안정 상태 분포에 대한 가정을 피한다.

Figure 1: RoboToy domain.

실험 결과

연구 질문

• RQ1 과거 행동이 미래 시스템 동역학에 영향을 주는 행동에 의존하는 비정상성 환경에서 이방법 평가를 신뢰성 있게 수행할 수 있는가?
• RQ2 수동, 활성, 또는 하이브리드 비정상성과 같은 구조적 비정상성을 어떻게 활용하여 환경 모델을 완전히 추정하지 않고도 향후 정책 성능을 예측할 수 있는가?
• RQ3 이중 적용된 역사적 추론이 비정상 환경에서 추정 정확도를 향상시키는가, 특히 편향과 분산을 줄이는 데 효과적인가?
• RQ4 도구변수 회귀와 자동회귀 예측 기반의 방법이 수동 비정상성 전용으로 설계된 기존 방법보다 수동 및 활성 설정 모두에서 성능이 뛰어나게 되는가?
• RQ5 이러한 방법은 하이퍼파rameter 선택에 대해 얼마나 강건한가, 특히 푸리에 기반 회귀와 같은 파arametric 방법과 비교할 때 어떻게 되는가?

주요 결과

• OPEN은 WIS 및 Pro-WLS를 포함한 모든 비정상 환경에서 편향과 평균제곱오차(MSE) 측면에서 뚜렷한 승리를 거두었다. 이는 활성 및 하이브리드 비정상성 환경에서도 동일하게 성립한다.
• 행동에 의존하는 변화가 없는 수동 비정상성 설정에서는 이중 역사적 추론 보정이 이론적으로 불필요하지만, OPEN은 여전히 정확한 예측을 제공한다.
• Pro-WLS는 푸리에 기저의 순서에 민감하여, 항의 수가 부족하거나 너무 많을 경우 높은 편향과 분산을 보이며, 외삽 성능이 열 劣하다.
• OPEN의 고정된 300단계 지연을 가진 자동회귀 구조는 Pro-WLS의 파arametric 푸리에 회귀보다 하이퍼파rameter 선택에 더 강건하다.
• 제거 실험을 통해 OPEN의 성능가 다양한 지연 값 범위에서 안정적임을 확인하였으며, 이는 예측의 강력한 일반화 능력과 신뢰성을 시사한다.
• 각 설정당 30회의 독립 시험을 통해 OPEN은 모든 도메인과 비정상성 속도에서 기준선 대비 낮은 MSE와 편향을 지속적으로 확보하였으며, 통계적 신뢰성을 입증하였다.

Figure 2: Control Graph for the non-stationary process. See text for symbol definitions.