[논문 리뷰] Deeply-Debiased Off-Policy Interval Estimation

Chengchun Shi, Runzhe Wan외 2명|arXiv (Cornell University)|2021. 05. 10.

Reinforcement Learning in Robotics참고 문헌 55인용 수 6

한 줄 요약

이 논문은 강화학습에서 이방성 평가를 위한 강력하고 효율적이며 유연한 신뢰구간을 구축하는 깊이 있는 탈편향 처리가 된 이방성 간격 추정 방법을 제안한다. 조건부 밀도 비율을 사용하여 Q함수와 가치 추정기의 오차를 반복적으로 탈편향함으로써, 세 가지 추정기(정규화된 Q함수, 정규화된 밀도 비율, 조건부 밀도 비율) 중 하나만 일致하는 경우에도 유효한 추론이 가능한 삼중 강건성(triple robustness)을 달성한다. 이와 동시에 반모수적 효율성과 약한 실용적 조건 하에서도 유효한 커버리지 유지가 가능하다.

ABSTRACT

Off-policy evaluation learns a target policy's value with a historical dataset generated by a different behavior policy. In addition to a point estimate, many applications would benefit significantly from having a confidence interval (CI) that quantifies the uncertainty of the point estimate. In this paper, we propose a novel deeply-debiasing procedure to construct an efficient, robust, and flexible CI on a target policy's value. Our method is justified by theoretical results and numerical experiments. A Python implementation of the proposed procedure is available at https://github.com/RunzheStat/D2OPE.

연구 동기 및 목표

• 약한 실용적 가정 하에서도 유효하고 강력하며 효율적인 이방성 평가를 위한 신뢰구간(CI)을 개발하는 것.
• 기존 방법들이 i.i.d. 데이터나 강한 수렴 속도 가정에 의존함으로써 유효하지 않거나 너무 넓은 CI를 초래하는 한계를 해결하는 것.
• Q함수와 정규화된 밀도 비율 추정기 둘 다 잘못 지정된 경우에도 유효한 추론이 가능하도록 이방성 평가의 불확실성 정량화를 향상시키는 것.
• 고차 영향 함수 기반의 새로운 탈편향 절차를 통해 강건성을 유지하면서도 반모수적 효율성을 달성하는 것.
• 제한된 시간에 의존하는 데이터를 가진 실세계 적용에 적합한 강력하고 실용적인 이방성 간격 추정 프레임워크를 제공하는 것.

제안 방법

• 조건부 밀도 비율 추정기를 사용하여 Q함수와 가치 추정기의 오차를 반복적으로 줄이는 깊이 탈편향 처리 절차를 제안한다.
• 고차 영향 함수를 통합한 이중 강건 추정기 프레임워크를 활용하여 삼중 강건성을 달성한다.
• 신경망을 사용하여 Q함수, 정규화된 밀도 비율, 조건부 밀도 비율을 추정하며, 계산 효율성을 위해 공유된 학습 구성 요소를 활용한다.
• 최종 가치 추정기 계산을 위해 U통계량 기반의 불완전한 추정 절차를 적용하여 병렬 처리와 확장성을 가능하게 한다.
• 이중 단계 학습 프로세스를 적용: 먼저 FQE를 통해 Q함수를 학습하고, 이후 탈편향 목표를 갖는 밀도 비율 추정기를 함께 훈련한다.
• 탈편향 추정기의 渐近 정규성을 활용하여 신뢰구간을 유도함으로써, 약한 종속성과 최소한의 정규성 조건 하에서도 유효한 커버리지가 보장된다.

실험 결과

연구 질문

• RQ1 데이터 종속성과 추정기 수렴 속도에 대한 약한 실용적 가정 하에서도 유효한 커버리지를 유지하는 이방성 평가를 위한 신뢰구간을 구성할 수 있는가?
• RQ2 Q함수와 정규화된 밀도 비율 추정기 둘 다 일치하지 않아도 되는 조건에서 이방성 간격 추정의 강건성과 효율성을 동시에 달성할 수 있는가?
• RQ3 기존 방법들인 DRL, IS, 경험적 우도와 비교할 때 제안된 깊이 탈편향 처리 방법은 커버리지 유효성과 간격 폭 측면에서 어떻게 성능을 내는가?
• RQ4 탈편향 과정에서 조건부 밀도 비율 추정기를 사용할 경우 최종 신뢰구간의 강건성과 효율성에 어떤 영향을 미치는가?
• RQ5 고차원 또는 복잡한 강화학습 환경에서 모델 오지정에 강건하면서도 반모수적 효율성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 삼중 강건성을 달성하여 Q함수, 정규화된 밀도 비율, 조건부 밀도 비율 추정기 중 하나만 일치하면 유효한 추론이 가능하다.
• 반모수적 효율성을 유지하여 비모수 모델 내에서 최적이고 좁은 신뢰구간을 보장한다.
• 실험 결과, 제안된 방법은 CoinDice와 같은 경험적 우도 기반 방법과 달리 데이터에 약한 종속성이 존재하는 경우에도 유효한 신뢰구간을 생성함을 보여준다.
• 제한된 데이터와 고차원 상태가 존재하는 환경에서 커버리지 정확도와 간격 폭 측면에서 기존 방법들을 능가한다.
• 계산 복잡도는 관리 가능하며 확장성이 있으며, 추정기 간 공유된 학습 구성 요소와 병렬 처리 가능한 샘플링 단계를 갖는다.
• CoinDice와 같은 기준 모델에 비해 하이퍼파rameter 조정에 더 강건하며, 안정적인 성능을 확보하기 위해 광범위한 하이퍼파rameter 조정이 필요하지 않다.