[논문 리뷰] Algorithm selection of off-policy reinforcement learning algorithm.

Romain Laroche, Raphaël Féraud|arXiv (Cornell University)|2017. 01. 30.

Advanced Bandit Algorithms Research참고 문헌 50인용 수 5

한 줄 요약

이 논문은 각 트레이젝터리 시작 시 보상을 최대화하기 위해 오프-폴리시 강화학습 알고리즘 중 최적의 알고리즘을 동적으로 선택하는 메타알고리즘인 에포크 단위 스위치 밴딧 알고리즘 선택(ESBAS)을 제안한다. ESBAS는 정체된 정책과 각 에포크마다 재설정되는 스위치 밴딧을 사용하여 샘플링 제약 조건 하에서도 거의 최적의 성능를 달성하며, 포트폴리오 내의 가장 우수한 개별 알고리즘조차도 능가한다. 이는 협상 대화 게임에서의 성능 향상을 보여준다.

ABSTRACT

Dialogue systems rely on a careful reinforcement learning design: the learning algorithm and its state space representation. In lack of more rigorous knowledge, the designer resorts to its practical experience to choose the best option. In order to automate and to improve the performance of the aforementioned process, this article formalises the problem of online off-policy reinforcement learning algorithm selection. A meta-algorithm is given for input a portfolio constituted of several off-policy reinforcement learning algorithms. It then determines at the beginning of each new trajectory, which algorithm in the portfolio is in control of the behaviour during the full next trajectory, in order to maximise the return. The article presents a novel meta-algorithm, called Epochal Stochastic Bandit Algorithm Selection (ESBAS). Its principle is to freeze the policy updates at each epoch, and to leave a rebooted stochastic bandit in charge of the algorithm selection. Under some assumptions, a thorough theoretical analysis demonstrates its near-optimality considering the structural sampling budget limitations. Then, ESBAS is put to the test in a set of experiments with various portfolios, on a negotiation dialogue game. The results show the practical benefits of the algorithm selection for dialogue systems, in most cases even outperforming the best algorithm in the portfolio, even when the aforementioned assumptions are transgressed.

연구 동기 및 목표

• 대화 시스템에서 오프-폴리시 강화학습 알고리즘의 자동화 및 개선된 선택을 통해 히우리스틱 설계 선택에 대한 의존도를 줄이기.
• 구조적 샘플링 예산 제약로 탐색이 제한될 때 포트폴리오에서 최적의 알고리즘을 선택하는 문제에 대응하기.
• 누적 보상 최대화에 중점을 두어 온라인 오프-폴리시 알고리즘 선택을 메타학습 문제로 체계화하기.
• 실제 제약 조건 하에서 이론적으로 타당한, 거의 최적의 동적 알고리즘 선택 방법 개발하기.
• 다양한 포트폴리오 구성에서 개별 알고리즘에 비해 메서드의 우월성을 실증적으로 검증하기.

제안 방법

• ESBAS는 각 에포크의 시작 시 정책 업데이트를 정지시켜 선택 과정 동안 안정적인 학습을 보장한다.
• 각 에포크의 시작 시점에 스위치 밴딧이 재설정되어 과거 성능 기반으로 포트폴리오에서 최적의 알고리즘을 선택한다.
• 알고리즘 선택과 정책 학습이 분리되어 있어 메타정책의 독립적 최적화가 가능하다.
• 이 방법은 구조적 샘플링 예산 제약 조건을 가정하며, 이론적 분석을 통해 거의 최적성을 확보한다.
• 각 새로운 트레이젝터리 시작 전에 선택 결정을 내리며, 선택된 알고리즘이 전체 트레이젝터리 동안 행동을 지배한다.
• 밴딧 학습과 오프-폴리시 RL을 조합하여 재학습 없이도 적응적인 알고리즘 전환을 가능하게 한다.

실험 결과

연구 질문

• RQ1 온라인 학습 중에 메타알고리즘이 대화 시스템에서 보상 최대화를 위해 오프-폴리시 RL 알고리즘을 동적으로 선택할 수 있는가?
• RQ2 이론적 가정을 위반했을 때 ESBAS는 포트폴리오 내 개별 알고리즘과 비교해 어떻게 성능을 발휘하는가?
• RQ3 구조적 샘플링 예산 제약 조건 하에서 ESBAS는 얼마나 거의 최적에 가까운 성능를 달성하는가?
• RQ4 ESBAS는 다양한 포트폴리오 구성에서 대화 게임에서 일관된 성능 향상을 이끌어내는가?
• RQ5 이론적 가정이 위반되었을 때에도 ESBAS는 포트폴리오 내 최고의 단일 알고리즘을 능가할 수 있는가?

주요 결과

• 협상 대화 게임에서 여러 실험 설정에서 ESBAS는 포트폴리오 내 최고의 개별 알고리즘을 일관되게 능가했다.
• 이론적 가정이 위반되었을 때도 실용적인 성능 향상이 나타나, 강건성을 입증했다.
• 이론적 분석을 통해 ESBAS가 구조적 샘플링 예산 제약 조건 하에서 거의 최적임을 확인했다.
• 에포크 단위로 정책 업데이트를 정지시킴으로써 정책 학습의 간섭 없이 안정적이고 효과적인 알고리즘 선택이 가능했다.
• 각 에포크마다 재설정된 스위치 밴딧을 사용함으로써 최소한의 계산 오버헤드로 적응적이고 데이터 기반의 선택이 가능했다.
• 실증 결과는 동적 알고리즘 선택이 정적 알고리즘 선택에 비해 보상 향상에 크게 기여함을 보여주었다.