[논문 리뷰] Collect & Infer -- a fresh look at data-efficient Reinforcement Learning

Martin Riedmiller, Jost Tobias Springenberg외 2명|arXiv (Cornell University)|2021. 08. 23.

Reinforcement Learning in Robotics참고 문헌 3인용 수 4

한 줄 요약

이 논문은 강화학습을 두 가지 별개의 과정으로 분리하는 개념적 프레임워크인 '수집 및 추론(Collect & Infer, C&I)' 파라다임을 제안한다. 이는 데이터 수집(행동 수행)과 지식 추론(축적된 경험에서의 학습)을 명시적으로 분리함으로써, 특히 로봇 공학 등 샘플이 부족한 분야에서 더 높은 데이터 효율성을 달성할 수 있도록 한다. 특히 오프라인, 배치 기반 추론과 타겟된 데이터 수집을 통해 두 과정을 별도로 최적화함으로써 이뤄진다.

ABSTRACT

This position paper proposes a fresh look at Reinforcement Learning (RL) from the perspective of data-efficiency. Data-efficient RL has gone through three major stages: pure on-line RL where every data-point is considered only once, RL with a replay buffer where additional learning is done on a portion of the experience, and finally transition memory based RL, where, conceptually, all transitions are stored and re-used in every update step. While inferring knowledge from all explicitly stored experience has lead to a tremendous gain in data-efficiency, the question of how this data is collected has been vastly understudied. We argue that data-efficiency can only be achieved through careful consideration of both aspects. We propose to make this insight explicit via a paradigm that we call 'Collect and Infer', which explicitly models RL as two separate but interconnected processes, concerned with data collection and knowledge inference respectively. We discuss implications of the paradigm, how its ideas are reflected in the literature, and how it can guide future research into data efficient RL.

연구 동기 및 목표

• 지속적으로 연구된 지식 추론과는 대비되게 데이터 수집이 다소 간과된 채로 남아 있는 강화학습 연구의 오랜 불균형을 해소하기 위해.
• 기존의 온정책 및 리PLAY 버퍼 기반 강화학습의 한계를 극복하기 위해, 데이터 수집을 첫 번째 최적화 문제로 명시적으로 모델링함으로써.
• 온라인 상호작용과 학습 과정을 분리함으로써 고정된, 잠재적으로 다양한 데이터셋으로부터 더 효과적이고 효율적인 학습을 가능하게 하기 위해.
• 시간이 지남에 따라 축적된 대규모이고 다양한 데이터셋(비-i.i.d.일 수 있음)에서 학습할 수 있는 차세대 강화학습 에이전트 설계를 위한 개념적 기반을 제공하기 위해.
• 향후 연구가 최종 정책 최적화 목표와는 별개로 탐색 및 데이터 수집 전략을 최적화하도록 이끌기 위해.

제안 방법

• 두 과정으로 구성된 프레임워크 제안: (1) 환경과 상호작용하여 전이 데이터를 메모리에 저장하는 에이전트를 통한 데이터 수집, (2) 저장된 전체 데이터셋을 사용한 오프라인 추론.
• 추론 과정을 배치 학습 목표로 공식화하여, 고정된 데이터셋 Dc를 사용해 표준 강화학습 또는 이mitation 학습 목표로 정책 또는 가치 함수를 학습함.
• 추론 목표 LI를 데이터셋 Dc와 모델 파라미터의 함수로 정의하며, 예를 들어 Q-러닝에서는 벨먼 오차 최소화, 액터-크리틱에서는 기대 수익 최대화를 목표로 함.
• 최종 정책의 성능을 극대화하기 위해, 목표 정책 πθ와 별개인 별도의 정책 πc를 통해 데이터 수집을 독립적으로 최적화함.
• 행동 클로닝, 오프정책 Q-러닝, 액터-크리틱 방법 등을 C&I 프레임워크의 구현 사례로 활용하여, 수집과 추론을 분리한 관점에서 이들 기법을 재해석함.
• 모든 수집된 데이터를 사용해 주기적으로 모델을 재추정하거나, 에이전트의 현재 지식 상태에 맞춰 적응하는 메타학습 기반 탐색 전략과 같은 새로운 알고리즘 설계를 제안함.

실험 결과

연구 질문

• RQ1 강화학습에서 데이터 효율성을 극대화하기 위해, 정책 학습과 별개로 데이터 수집을 어떻게 독립적으로 최적화할 수 있는가?
• RQ2 고정된 데이터셋에서 오프라인 배치 추론을 사용할 경우, 샘플이 부족한 환경에서 온라인 점진적 학습에 비해 성능 향상은 어느 정도 이루어지는가?
• RQ3 적절히 설계된 추론 과정을 통해 동일한 데이터셋을 사용해 동시에 여러 정책 또는 목표를 학습시킬 수 있는가?
• RQ4 특히 현재 최적 정책에서 벗어나는 다양한 데이터 수집 전략이, 후속 추론의 품질에 어떤 영향을 미치는가?
• RQ5 C&I 파라다임 하에서 메타학습 기반 또는 컨텍스트 인식 탐색 전략은 데이터 수집 효율성을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• C&I 파라다임은 데이터 수집과 지식 추론 간 명확한 개념적 분리를 가능하게 하여, 양 과정을 별도로 최적화할 수 있도록 한다.
• 고정된 데이터셋에서의 오프라인 추론(예: 오프정책 Q-러닝 또는 액터-크리틱 방법)은 타겟된 데이터 수집과 결합될 경우 매우 높은 데이터 효율성을 달성할 수 있다.
• 선생 정책를 사용한 행동 클로닝을 데이터 수집 전략으로 활용할 경우, 이mitation 학습에서 최적의 성능을 달성하며, 이는 데이터 수집 자체가 강화학습 문제를 해결하는 것과 동일시될 수 있음을 보여준다.
• 이 파라다임은 다양한 비-i.i.d. 데이터셋의 사용을 지원하며, 하나의 데이터셋에서 다중 목표 학습을 가능하게 하여 융통성과 재사용성을 향상시킨다.
• 점진적 업데이트를 전체 수집 데이터를 사용해 주기적으로 모델을 재추정하는 방식으로 대체하면, 특히 데이터 효율적 환경에서 학습 안정성과 성능 향상에 기여할 수 있다.
• 이 프레임워크는 탐색 전략이 즉각적인 작업 성능을 위한 것이 아니라, 향후 추론을 위한 수집된 데이터의 정보성 극대화를 위한 것이어야 한다는 점을 시사한다.