[논문 리뷰] Biased Aggregation, Rollout, and Enhanced Policy Improvement for Reinforcement Learning

Dimitri P. Bertsekas|arXiv (Cornell University)|2019. 10. 06.

Reinforcement Learning in Robotics참고 문헌 22인용 수 10

한 줄 요약

이 논문은 근사 동적계획법에서의 고유한 편향된 집약 프레임워크를 제안하며, 고전적 집약을 향상시키기 위해 편향 함수 $V$를 도입함으로써 근사 정확도를 향상시킨다. $V$가 최적 비용 $J^*$를 근사할 경우, 특히 기본 정책 $\mu$에 대한 $J_\mu$일 경우, 이 방법은 롤아웃과 근사 정책 반복을 일반화하여, 저차원 집약 DP 해법을 통해 수렴 보장이 되는 근사 최적 결과를 얻는 데 더 효과적인 정책 개선을 가능하게 한다.

ABSTRACT

We propose a new aggregation framework for approximate dynamic programming, which provides a connection with rollout algorithms, approximate policy iteration, and other single and multistep lookahead methods. The central novel characteristic is the use of a bias function $V$ of the state, which biases the values of the aggregate cost function towards their correct levels. The classical aggregation framework is obtained when $V\equiv0$, but our scheme works best when $V$ is a known reasonably good approximation to the optimal cost function $J^*$. When $V$ is equal to the cost function $J_μ$ of some known policy $μ$ and there is only one aggregate state, our scheme is equivalent to the rollout algorithm based on $μ$ (i.e., the result of a single policy improvement starting with the policy $μ$). When $V=J_μ$ and there are multiple aggregate states, our aggregation approach can be used as a more powerful form of improvement of $μ$. Thus, when combined with an approximate policy evaluation scheme, our approach can form the basis for a new and enhanced form of approximate policy iteration. When $V$ is a generic bias function, our scheme is equivalent to approximation in value space with lookahead function equal to $V$ plus a local correction within each aggregate state. The local correction levels are obtained by solving a low-dimensional aggregate DP problem, yielding an arbitrarily close approximation to $J^*$, when the number of aggregate states is sufficiently large. Except for the bias function, the aggregate DP problem is similar to the one of the classical aggregation framework, and its algorithmic solution by simulation or other methods is nearly identical to one for classical aggregation, assuming values of $V$ are available when needed.

연구 동기 및 목표

• 고전적 집약의 한계를 해결하기 위해, 값 근사 정확도를 향상시키는 편향 함수를 도입함으로써 근사 동적계획법에서의 성능을 향상시키는 것.
• 단일 집약 프레임워크 내에서 롤아웃 알고리즘, 근사 정책 반복, 후행 분석 방법을 통합하고 확장하는 것.
• 편향 함수 $V$를 통해 이전 지식을 활용하여 더 정확하고 효율적인 정책 개선을 가능하게 하는 것.
• 저차원 집약 문제를 사용하여 대규모 마르코프 결정 과정에 대해 민첩하고 확장 가능한 방법을 제공하는 것.
• 집약 상태 수가 충분히 많아질 경우 최적 비용 함수 $J^*$에 대해 임의로 가까운 근사치로 수렴함을 보장하는 것.

제안 방법

• 집약 비용 값이 올바른 수준으로 향하도록 이끄는 편향 함수 $V$를 도입하며, $V \approx J^*$일 경우 최적 성능을 달성한다.
• 집약 DP 문제를 $V$와 각 집약 상태 내의 국소 보정을 포함하여 수식화하고, 값 반복 또는 시뮬레이션을 통해 해결한다.
• 인터폴레이션(예: 식 (3.27))을 사용하여 샘플된 집합 $\hat{\cal S}$에서의 집약 해 $\hat{J}_{k+1}$를 전체 상태 공간 $\cal S$로 확장한다.
• 계층적 상향-하향 샘플링 과정을 적용: $\hat{\cal S}$로 하향 샘플링 → 집약 문제 해결 → 가중치 기반 인터폴레이션을 통한 상향 샘플링.
• 값 반복에서 수축 성질을 유지함으로써 수렴을 보장하며, $\|V_k - TV_k\|$가 작을 경우 수렴이 보장된다.
• 조정 가능한 가중치를 가진 다수의 편향 함수를 선형 조합하여 유연한 근사 전략을 허용한다.

실험 결과

연구 질문

• RQ1 고전적 집약은 어떻게 개선되어야 동적계획법에서의 근사 정확도를 향상시킬 수 있는가?
• RQ2 편향 함수 $V$는 대규모 MDP에서 정책 평가 및 정책 반복을 향상시키는 데 어떤 역할을 하는가?
• RQ3 제안된 프레임워크는 어떻게 롤아웃 및 근사 정책 반복 알고리즘을 일반화하는가?
• RQ4 편향 함수 $V$는 어떻게 선택되어야 수렴이 보장되고 근사 최적 해에 도달할 수 있는가?
• RQ5 이 프레임워크는 유사한 보장을 갖는 다단계 또는 분산 집약 설정으로 확장될 수 있는가?

주요 결과

• 만약 $V = J_\mu$ 이고 집약 상태가 하나일 경우, 이 방법은 정책 $\mu$에서의 단일 스텝 롤아웃 개선과 동일하며, 롤아웃 알고리즘과 직접적인 연결을 제공한다.
• 여러 개의 집약 상태와 $V = J\_\mu$일 경우, 표준 롤아웃보다 더 강력한 형태의 정책 개선이 가능해져 효과를 극대화한다.
• 프레임워크는 집약 상태 수가 증가함에 따라 집약 DP 해가 $J^*$에 대해 임의로 가까운 근사치로 수렴함을 보장한다.
• 이 방법은 고전적 집약과 알고리즘적 유사성을 유지하므로, 기존의 솔버 및 시뮬레이션 기반 기법을 최소한의 수정으로 재사용할 수 있다.
• 만약 $V$가 $J^*$의 일반적인 근사치일 경우, 이 접근은 후행 분석 함수 $V + \text{국소 보정}$을 갖는 값 공간 근사로 축소되며 정확도를 향상시킨다.
• 가중치 $\xi_{ji} = \sum_{\ell=1}^q \phi_{j\ell} d_{\ell i}$를 사용한 최종 인터폴레이션 단계는 정규화와 함께 전체 상태 공간으로의 부드러운 값 함수 확장을 보장한다.