[논문 리뷰] Reinforcement Learning in Large Discrete Action Spaces.

Gabriel Dulac-Arnold, Richard Evans외 2명|arXiv (Cornell University)|2015. 12. 24.

Reinforcement Learning in Robotics참고 문헌 17인용 수 287

한 줄 요약

이 논문은 행동을 연속 공간에 임bedding하고, 효율적인 행동 선택을 위해 근접한 이웃 검색을 사용함으로써 큰 이산 행동 공간에 대한 강화학습 방법을 제안한다. 이 방법은 행동 선택에 하위선형 복잡도를 보장하고 행동 간 일반화를 가능하게 하여, 이전 방법이 실패하는 바까지 수백만 개의 행동을 가진 작업으로까지 스케일링이 가능하다.

ABSTRACT

Being able to reason in an environment with a large number of discrete actions is essential to bringing reinforcement learning to a larger class of problems. Recommender systems, industrial plants and language models are only some of the many real-world tasks involving large numbers of discrete actions for which current methods are difficult or even often impossible to apply. An ability to generalize over the set of actions as well as sub-linear complexity relative to the size of the set are both necessary to handle such tasks. Current approaches are not able to provide both of these, which motivates the work in this paper. Our proposed approach leverages prior information about the actions to embed them in a continuous space upon which it can generalize. Additionally, approximate nearest-neighbor methods allow for logarithmic-time lookup complexity relative to the number of actions, which is necessary for time-wise tractable training. This combined approach allows reinforcement learning methods to be applied to large-scale learning problems previously intractable with current methods. We demonstrate our algorithm’s abilities on a series of tasks having up to one million actions.

연구 동기 및 목표

• 추천 시스템과 언어 모델와 같은 매우 큰 이산 행동 공간을 가진 환경에 강화학습을 적용하는 데 도전한다.
• 행동 집합 크기에 따라 성능이 급격히 떨어지고 행동 간 일반화 기능이 부족한 기존 방법의 한계를 극복한다.
• 행동 수에 비례한 로그 시간 복잡도의 행동 검색을 통해 효율적이고 확장 가능한 학습을 가능하게 한다.
• 행동에 대한 사전 지식을 활용해 의미 있는 연속 표현을 생성함으로써 일반화를 도모한다.
• 수백만 개의 행동을 가진 대규모 작업에서의 실현 가능성과 성능을 입증한다.

제안 방법

• 행동의 구조나 의미적 특성에 대한 사전 지식을 사용하여 이산 행동을 연속 벡터 공간에 임베딩한다.
• 개별 행동이 아닌 연속 행동 임베딩 공간을 기반으로 일반화하는 강화학습 에이전트를 훈련시킨다.
• 추론 중 가장 유망한 행동을 효율적으로 검색하기 위해 근사 근접 이웃(ANN) 검색을 사용한다.
• 행동 수에 비례한 로그 시간 복잡도를 달성하여 수백만 개의 행동이 있는 경우에도 학습이 가능하도록 한다.
• 표준 RL 프레임워크(예: Q-학습 또는 정책 기반 강화학습 방법)에 행동 임베딩 및 ANN 구성 요소를 통합한다.
• 에이전트를 엔드 투 엔드로 훈련시키며, 기울기 기반 최적화 방법을 사용해 정책과 행동 임베딩 공간을 함께 최적화한다.

실험 결과

연구 질문

• RQ1 행동 임베딩과 근사 근접 이웃 검색을 조합하면 큰 이산 행동 공간에서 효율적인 강화학습을 가능하게 할 수 있는가?
• RQ2 개별 행동 학습 대비 연속 행동 임베딩 공간에서의 학습이 행동 간 일반화에 얼마나 기여하는가?
• RQ3 제안된 방법의 계산 복잡도는 행동 집합 크기가 증가함에 따라 어떻게 변화하는가?
• RQ4 이 방법은 최대 수백만 개의 행동을 가진 실제 작업에 적용 가능하며, 기준 방법과 비교해 어떻게 성능을 내는가?
• RQ5 행동에 대한 사전 지식을 활용하면 샘플 효율성과 최종 성능이 크게 향상되는가?

주요 결과

• 제안된 방법은 이전에 표준 RL 알고리즘으로는 비가능시였던 최대 수백만 개의 이산 행동을 가진 환경에서 강화학습 에이전트를 성공적으로 훈련시켰다.
• 행동 임베딩의 사용은 의미적으로 유사한 행동 간 일반화를 가능하게 하여 샘플 효율성과 정책 성능을 향상시켰다.
• 근사 근접 이웃 검색을 통해 행동 검색 시간을 행동 수에 비례한 로그 시간 복잡도로 줄여 학습의 가능성을 확보했다.
• 행동 임베딩이나 효율적 검색을 사용하지 않는 기준 방법보다 성능이 뛰어나며, 행동 공간 크기가 커질수록 그 격차가 커진다.
• 행동 임베딩에 사전 지식을 통합함으로써 대규모 작업에서 수렴 속도가 빨라지고 최종 수익이 높아졌다.
• 표준 RL 방법의 실용적 한계를 초월하는 행동 공간 크기에서도 이 방법은 강력한 성능을 유지한다.