[논문 리뷰] Deep Reinforcement Learning in Large Discrete Action Spaces

Gabriel Dulac-Arnold, Evans, Richard외 8명|arXiv (Cornell University)|2015. 12. 24.

Anomaly Detection Techniques and Applications인용 수 265

한 줄 요약

이 논문은 행동을 연속 공간에 임bedding하고, 근처 행동 탐색을 통해 선형 이하의 추론 복잡도를 가능하게 함으로써 대규모 이산 행동 공간에서의 딥 강화학습 방법을 제안한다. 이 방법은 최대 100만 개의 행동을 가진 작업에서 효율적인 학습과 추론을 달성하며, 뛰어난 성능을 유지하면서 일반화 능력과 확장성을 확보하기 위해 근처 행동의 소수의 부분집합으로도 충분함을 보여준다.

ABSTRACT

Being able to reason in an environment with a large number of discrete actions is essential to bringing reinforcement learning to a larger class of problems. Recommender systems, industrial plants and language models are only some of the many real-world tasks involving large numbers of discrete actions for which current methods are difficult or even often impossible to apply. An ability to generalize over the set of actions as well as sub-linear complexity relative to the size of the set are both necessary to handle such tasks. Current approaches are not able to provide both of these, which motivates the work in this paper. Our proposed approach leverages prior information about the actions to embed them in a continuous space upon which it can generalize. Additionally, approximate nearest-neighbor methods allow for logarithmic-time lookup complexity relative to the number of actions, which is necessary for time-wise tractable training. This combined approach allows reinforcement learning methods to be applied to large-scale learning problems previously intractable with current methods. We demonstrate our algorithm's abilities on a series of tasks having up to one million actions.

연구 동기 및 목표

• 추천 시스템이나 산업 제어와 같이 매우 큰 이산 행동 집합을 가진 환경에서의 딥 강화학습의 비가역성 문제를 해결하기 위해.
• 행동 집합 크기에 비례하는 선형 복잡도가 아닌, 일반화를 가능하게 하기 위해.
• 임bedded 행동 공간 내에서 효율적인 근처 행동 검색을 통해 대규모 행동 공간에서의 추론 시간을 단축하기 위해.
• 학습 시 최상위 k개의 근처 행동만을 사용하는 것이 강력한 성능을 달성하는 데에 충분한지 확인하기 위해.
• 행동 집합이 수백만 개를 넘는 실세계 시스템에서의 확장 가능한 RL을 가능하게 하기 위해.

제안 방법

• 선형 지식을 활용해 행동을 연속 벡터 공간에 임베딩함으로써 유사 행동 간의 일반화를 가능하게 한다.
• 정책 네트워크는 임베딩 공간 내의 연속 행동 벡터를 출력하고, 이를 근처 이산 행동들로 매핑하기 위해 근사 근처 이웃(ANN) 검색을 사용한다.
• FLANN 등의 ANN 라이브러리를 활용해 행동 수에 비례하는 로그 시간 복잡도의 검색을 달성한다.
• 에이전트는 임베딩 공간 내에서 k개의 근처 이웃 중 최고의 행동을 선택하며, 직접 선택하거나 가치 기반 정밀 조정을 통해 수행할 수 있다.
• 대규모 이산 행동 공간을 가진 환경에서, DDPG와 같은 정책 기반 강화학습 방법을 사용한 액터-크리틱 프레임워크를 통해 학습을 수행한다.
• 행동 표현은 사전 학습하거나 학습 중에 함께 최적화하여 임베딩 품질을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 최대 100만 개의 이산 행동을 가진 환경에서 딥 강화학습이 타당하게 수행될 수 있는가?
• RQ2 학습된 임베딩 공간 내에서 k개의 근처 행동만을 사용하는 것이 계산 비용을 줄이면서도 성능을 유지하는가?
• RQ3 근사 근처 이웃 검색이 대규모 행동 공간에서의 학습 성능과 학습 속도에 어떤 영향을 미치는가?
• RQ4 행동 임베딩을 통해 행동 집합을 전체 나열 없이도 일반화할 수 있는가?
• RQ5 가이드된 탐색은 대규모 행동 공간 환경에서 학습 효율성을 얼마나 향상시킬 수 있는가?

주요 결과

• 이 방법은 최대 100만 개의 이산 행동을 가진 작업에서 안정적인 학습과 뛰어난 성능을 달성하여 이전 방법을 초월하는 확장성을 입증했다.
• 13,138개의 행동을 가진 작업에서 전체 행동 기반 모델 대비 1%의 행동(=k=131)만을 사용했을 때 성능의 37%를 달성했으며, 학습 시간은 15배 빨라졌다.
• 낮은 재현율을 가진 FLANN 설정에서는 성능 저하가 심했지만, 중간 및 빠른 설정에서는 성능에 거의 영향을 주지 않았다.
• 13,138개 행동 작업에서 k=5% (656개 행동)를 사용한 경우 약 12스텝/초의 속도를 기록했고, 전체 행동 학습은 단지 1.5스텝/초에 머물렀다.
• 작은 작업에서는 더 작은 행동 표현(20D 대비 200D)이 수렴 안정성 향상에 기여했으며, 이는 임베딩 차원 수의 상충 관계를 시사한다.
• 가이드된 탐색(유의미한 행동로 제한된 에프실론)을 사용한 학습은 전체 무작위 탐색 대비 큰 작업에서 성능을 50% 향상시켰다.