[논문 리뷰] Nonparametric learning for impulse control problems

Sören Christensen, Claudia Strauch|arXiv (Cornell University)|2019. 09. 20.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 4

한 줄 요약

이 논문은 부분 정보 하에서 인풋 제어 문제를 위한 비모수적 학습 프레임워크를 제안하며, 불변 밀도 추정기의 수렴 속도에 기반한 적응형 샘플링을 통해 탐색과 이용을 통합한다. 균일한 손실 한계를 $ O(T^{-1/3}) $로 확립하여, 확률적 수확 맥락에서 드리프트 학습과 장기 제어 최적화 사이의 최적 균형을 달성한다.

ABSTRACT

One of the fundamental assumptions in stochastic control of continuous time processes is that the dynamics of the underlying (diffusion) process is known. This is, however, usually obviously not fulfilled in practice. On the other hand, over the last decades, a rich theory for nonparametric estimation of the drift (and volatility) for continuous time processes has been developed. The aim of this paper is bringing together techniques from stochastic control with methods from statistics for stochastic processes to find a way to both learn the dynamics of the underlying process and control in a reasonable way at the same time. More precisely, we study a long-term average impulse control problem, a stochastic version of the classical Faustmann timber harvesting problem. One of the problems that immediately arises is an exploration-exploitation dilemma as is well known for problems in machine learning. We propose a way to deal with this issue by combining exploration and exploitation periods in a suitable way. Our main finding is that this construction can be based on the rates of convergence of estimators for the invariant density. Using this, we obtain that the average cumulated regret is of uniform order $O({T^{-1/3}})$.

연구 동기 및 목표

• 고전적 확률 제어에서 흔히 볼 수 있지만 현실적이지 않은 가정인 확산 과정의 드리프트가 알려져 있지 않은 상황에서 인풋 제어 문제를 다루기 위해.
• 동역학을 학습하는 과정에서 동시에 제어 성능을 최적화하는 데서 발생하는 탐색-이용 트레이드오프를 해결하기 위해.
• 제약이 많지 않은 모수적 가정 없이 비모수 통계와 확률 제어를 통합하는 통합 프레임워크를 개발하기 위해.
• 특히 학습으로 인한 누적 손실을 제한하는 의미에서 유한 시간 성능 보장을 도출하기 위해.

제안 방법

• 비모수적 커널 밀도 추정과 시간 분할 전략을 조합하여, 탐색(학습)과 이용(제어) 단계를 번갈아가며 수행한다.
• 불변 밀도를 위한 커널 추정기 $ \widehat{\rho}_{t,h}(y) $ 를 사용하며, 추정기의 수렴 속도에 따라 대역폭 $ h $ 를 선택한다.
• 탐색 단계는 $ t $ 시간 단위 동안 지속되며, 이 기간 동안 과정이 관측되어 드리프트를 비모수적으로 추정하고, 이용 단계에서는 추정된 동역학을 기반으로 제어를 수행한다.
• 손실 분석은 추정 오차를 편향과 마틴갈레 항으로 분해하며, 후자는 버크홀더–데이비스–검니 부등식을 통해 제어한다.
• 밀도 추정기의 수렴 속도는 진짜 밀도의 허더링 연속성과 커널 함수 $ Q $ 의 차수와 연결되어 있어 편향을 제어한다.
• 최종 손실 한계는 밀도 추정기의 기대 $ L^1 $-오차에 대한 경계와 탐색-이용 간 시간 할당에 대한 경계를 조합하여 유도된다.

실험 결과

연구 질문

• RQ1 연속 시간 설정에서 확산 과정의 알려지지 않은 드리프트를 동시에 학습하고 최적의 인풋 제어를 수행할 수 있는 방법은 무엇인가?
• RQ2 사전에 모수적 가정 없이 실시간으로 비모수적으로 동역학을 학습할 경우, 달성 가능한 최소 손실은 무엇인가?
• RQ3 학습-제어 프레임워크에서 누적 손실을 최소화하기 위해 탐색과 이용은 어떻게 균형을 맞춰야 하는가?
• RQ4 비모수적 밀도 추정기의 수렴 속도가 제어 정책 성능에 미치는 역할은 무엇인가?
• RQ5 비모수적 인풋 제어 문제에서 $ O(T^{-1/3}) $ 수준의 균일한 손실 한계를 달성할 수 있는가?

주요 결과

• 제안된 방법은 주어진 비모수적 추정 제약 조건 하에서 최적의 균일 손실 한계 $ O(T^{-1/3}) $ 를 달성한다.
• 손실 한계는 탐색 시간 $ t $ 와 그로 인한 추정 오차를 균형 잡는 방식으로 유도되며, 최적의 대역폭 $ h \sim t^{-1/3} $ 가 도출된다.
• 밀도 추정기의 편향 항은 진짜 불변 밀도의 허더링 연속성과 커널 차수에 의해 제어되며, $ \mathcal{O}(h^\beta) $ 의 편향을 유도한다.
• 추정 오차의 마틴갈레 항은 버크홀더–데이비스–검니 부등식을 통해 제어되어 $ L^1 $-오차에 $ \mathcal{O}(\sqrt{h}) $ 기여를 한다.
• 분석 결과 밀도 추정기의 $ L^1 $-오차는 $ \mathcal{O}(1/\sqrt{t}) $ 로 유도되며, 이는 전체 손실 스케일링에 기여한다.
• 프레임워크는 비모수 통계와 확률 제어를 성공적으로 통합하여, 학습과 제어를 양질의 성능 보장 하에 동시에 수행할 수 있음을 보여준다.