[논문 리뷰] Domain-Independent Optimistic Initialization for Reinforcement Learning

Marlos C. Machado, Sriram Srinivasan외 1명|arXiv (Cornell University)|2014. 10. 16.

Reinforcement Learning in Robotics참고 문헌 2인용 수 18

한 줄 요약

이 논문은 보상 스케일이나 특징 노름 가정에 의존하지 않는 도메인 독립적인 낙관적 초기화 방법을 제안한다. 보상은 첫 번째 비영점 보상에 대해 정규화되고, γ−1만큼 이동됨으로써, 가치 함수 가중치를 0으로 초기화함으로써 효과적인 탐색이 가능해지며, 도메인 특화 캘리브레이션 없이 아타리 환경에서 뛰어난 샘플 효율성을 달성한다.

ABSTRACT

In Reinforcement Learning (RL), it is common to use optimistic initialization of value functions to encourage exploration. However, such an approach generally depends on the domain, viz., the scale of the rewards must be known, and the feature representation must have a constant norm. We present a simple approach that performs optimistic initialization with less dependence on the domain.

연구 동기 및 목표

• 기존 낙관적 초기화 방법이 보상 스케일과 특징 벡터 노름에 대한 사전 지식이 필요로 하는 한계를 해결하기 위해.
• 도메인 특화 가정이나 수정 없이 낙관적 탐색을 가능하게 하는 방법을 개발하기 위해.
• 다양한 환경에서 성능를 유지하면서 구현을 단순화하고 특징 공학을 피하기 위해.
• 희소 보상 환경인 아타리 게임에서 최소한의 사전 정보로 효과적인 탐색을 가능하게 하기 위해.

제안 방법

• 모든 보상을 관찰된 첫 번째 비영점 보상의 절대값으로 정규화하여 단위 스케일 보상 신호를 생성한다.
• 정규화된 보상을 (γ−1)만큼 아래로 이동시켜, 0으로 초기화된 가치 함수가 q(s,a) = r₁st의 낙관적 추정치에 해당하도록 보장한다.
• 이 변환된 보상 신호를 함수 근사에 사용함으로써, 에이전트가 여전히 낙관적 가치 추정을 달성하면서도 가중치 θ = 0으로 초기화할 수 있도록 한다.
• 이 이동은 0으로 초기화된 함수의 기대 수익이 첫 관측 보상과 동일하게 되도록 보장하여, 특징 노름을 알지 못해도 탐색이 가능하게 한다.
• 비순환 작업에서의 조기 종료를 방지하기 위해 종료 보상 r_end = γ^(T−k+1) − 1을 적용한다.
• 다양한 보상 구조를 가진 게임에서 성능을 평가하기 위해 아케이드 학습 환경과 Sarsa(λ), 기본 시각적 특징을 사용한다.

실험 결과

연구 질문

• RQ1 함수 근사에서 보상 스케일이나 특징 벡터 노름에 대한 사전 지식 없이도 낙관적 초기화를 달성할 수 있는가?
• RQ2 도메인 독립적인 낙관적 초기화는 아타리 게임과 같은 희소 보상 환경에서 학습 효율성에 어떻게 영향을 미치는가?
• RQ3 변환된 보상과 함께 0 가중치 초기화는 표준 Sarsa(λ)보다 더 빠른 수렴을 이끌어내는가?
• RQ4 다양한 보상 크기와 희소성의 환경에서 이 방법은 어떻게 성능를 보이는가?
• RQ5 장기 계획이 필요한 게임에서 이 낙관적 초기화를 사용할 경우 탐색과 이용 간의 상충 관계는 어떻게 되는가?

주요 결과

• 프리웨이 게임에서, 낙관적 초기화는 학습률(α=0.01 및 α=0.50) 모두에서 학습을 크게 가속화했으며, α=0.01에서 최고 성능를 기록했다.
• 이 방법은 무작위 탐색이 내재적 동기 없이 성공할 가능성이 낮은 프리웨이에서 긍정적 보상을 더 빨리 발견하는 데 기여했다.
• 프라이빗 아이에서는 과도한 낙관으로 인해 수렴 속도가 느려졌으며, 일부 상태가 열등하다는 것을 학습하는 데 지연이 있었다.
• 희소하고 지연된 보상이 존재하는 환경에서도 도메인 특화 캘리브레이션이나 특징 공학 없이 효과적인 탐색을 달성했다.
• 종료 보상 r_end = γ^(T−k+1) − 1의 사용은 비순환 작업에서의 조기 종료 문제를 성공적으로 완화했다.
• 이 방법은 다양한 아타리 게임에서 뛰어난 성능를 유지하여 보상 스케일과 특징 희소성에 강건함을 입증했다.