[논문 리뷰] Regret Bounds for Stochastic Shortest Path Problems with Linear Function Approximation

Daniel Vial, Advait Parulekar외 2명|arXiv (Cornell University)|2021. 05. 04.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 4

한 줄 요약

이 논문은 선형 함수 근사(Linear Function Approximation, LFA)를 사용한 스토케스틱 최단경로 문제(Stochastic Shortest Path, SSP)에 대해 통계적이고 계산적으로 효율적인 강화학습 알고리즘을 처음으로 제안하며, 정적 정책(stationary policies)을 사용해 하위선형 잔여오차(sublinear regret)를 달성한다. 이는 최적의 근사 고정점(Optimistic Approximate Fixed Points, OAFPs)을 도입하고, 가정 조건에 따라 $\sqrt{K}$, $K^{3/4}$, 또는 $K^{5/6}$의 규모로 증가하는 잔여오차 경계를 제공한다. 이는 최소한의 조건, 즉 최소 비용이 양수이고 적절한 정책이 존재하는 조건에서 성립한다.

ABSTRACT

We propose an algorithm that uses linear function approximation (LFA) for stochastic shortest path (SSP). Under minimal assumptions, it obtains sublinear regret, is computationally efficient, and uses stationary policies. To our knowledge, this is the first such algorithm in the LFA literature (for SSP or other formulations). Our algorithm is a special case of a more general one, which achieves regret square root in the number of episodes given access to a certain computation oracle.

연구 동기 및 목표

• 스토케스틱 최단경로(SSP) 문제에 대해 선형 함수 근사(LFA)에서 효율적이고 정적 정책을 사용하는 알고리즘이 부족한 문제를 해결한다.
• 상태 및 행동 공간 크기와 무관하게 하위선형 잔여오차를 달성하는 계산적으로 효율적인 알고리즘을 개발한다.
• 최소한의 가정 조건, 즉 양수의 최소 비용과 적절한 정책의 존재 조건 하에서 잔여오차 스케일링에 대한 이론적 보장을 제공한다.
• 정적 정책을 활용하여 이론적 효율성과 실용적 구현 간 격차를 메운다.
• 유한 수명 주기 LFA 연구를 무한 수명 주기 SSP 설정으로 확장하며, 최소한의 구조적 가정을 수용한다.

제안 방법

• 최적의 근사 고정점(OAFPs)에 기반한 새로운 프레임워크를 제안하며, 이는 데이터 기반 연산자 $\hat{G}_t$에 대해 작은 벨만 오차를 가지는 d차원 벡터이다.
• OAFP를 계산하고 정책을 업데이트하기 위한 오рак루를 사용하는 알고리즘 1을 설계하여, 잔여오차 최소화 문제를 OAFP 계산 문제로 환원한다.
• 서브가우시안 농도와 행렬 농도 부등식을 사용하여 추정 오차를 제한하는 신뢰집합을 구성한다.
• 정규화와 적응형 특징 가중치를 사용한 최소제곱 회귀를 통해 LFA 설정에서 최적의 가중치 벡터 $w^\star$를 추정한다.
• 넷 커버링 추론과 행렬 행렬식 경계를 활용하여 특징 공간에서의 함수 근사 복잡도를 제어한다.
• 오라클 접근이 가능할 경우 OAFP 계산 품질에 대한 감소를 통해 잔여오차 경계를 확립하며, 이는 유리한 조건 하에서 $\sqrt{K}$의 잔여오차를 달성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 스토케스틱 최단경로 문제에 대해 선형 함수 근사(LFA)를 사용하고 정적 정책을 적용할 때 통계적이고 계산적으로 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 최소한의 가정 조건, 즉 양수의 최소 비용과 적절한 정책의 존재 조건 하에서 어떤 잔여오차 스케일링이 달성 가능한가?
• RQ3 OAFP 오라클의 품질이 SSP 설정에서의 전체 잔여오차 경계에 어떤 영향을 미치는가?
• RQ4 수명 주기나 비정적 정책에 대한 지식 없이도 하위선형 잔여오차를 달성할 수 있는가?
• RQ5 특징 표현(예: 직교성)에 어떤 조건이 충족되어야 $\sqrt{K}$의 잔여오차를 달성할 수 있는가?

주요 결과

• 특징이 특정 의미에서 직교적일 경우, 가정 1–2 하에서 제안된 알고리즘이 $\sqrt{K}$의 잔여오차를 달성한다.
• 가정 1–2만 존재할 경우, 잔여오차는 $K^{5/6}$로 스케일링되며, 이는 이전 연구 대비 상당한 향상이다.
• 모든 정적 정책이 적절한 경우, 잔여오차 경계는 $K^{3/4}$로 향상되며, 이는 정책 구조가 성능에 미치는 영향을 보여준다.
• 이 알고리즘은 정적 정책을 사용하는 LFA 설정에서 통계적·계산적 효율성을 동시에 달성하는 최초의 알고리즘이다.
• 프레임워크는 잔여오차 최소화 문제를 OAFP 계산 문제로 환원하며, 본 논문은 제시된 잔여오차 경계를 달성하는 오라클 구현을 제공한다.