[논문 리뷰] Value Function Approximation in Noisy Environments Using Locally Smoothed Regularized Approximate Linear Programs

Gavin Taylor, Ron Parr|arXiv (Cornell University)|2012. 10. 16.

Reinforcement Learning in Robotics참고 문헌 13인용 수 6

한 줄 요약

이 논문은 국소적 스무딩과 정규화를 조합함으로써 잡음이 있는 강화학습 환경에서 가치 함수 근사 향상을 위한 새로운 방법인 국소적으로 스무딩된 L1-정규화 근사 선형계획법(LS-RALP)을 소개한다. 부드러움 가정과 표본 크기 증가를 활용함으로써 정확한 모델이 필요 없이 잡음에 의한 오차를 감소시킨다. 이는 표준 RALP보다 잡음이 많은 도메인에서 성능이 뛰어나며, 기준 문제에서 더 나은 수렴성과 강건성을 보여준다.

ABSTRACT

Recently, Petrik et al. demonstrated that L1Regularized Approximate Linear Programming (RALP) could produce value functions and policies which compared favorably to established linear value function approximation techniques like LSPI. RALP's success primarily stems from the ability to solve the feature selection and value function approximation steps simultaneously. RALP's performance guarantees become looser if sampled next states are used. For very noisy domains, RALP requires an accurate model rather than samples, which can be unrealistic in some practical scenarios. In this paper, we demonstrate this weakness, and then introduce Locally Smoothed L1-Regularized Approximate Linear Programming (LS-RALP). We demonstrate that LS-RALP mitigates inaccuracies stemming from noise even without an accurate model. We show that, given some smoothness assumptions, as the number of samples increases, error from noise approaches zero, and provide experimental examples of LS-RALP's success on common reinforcement learning benchmark problems.

연구 동기 및 목표

• 샘플된 다음 상태가 성능을 떨어뜨리는 잡음이 많은 환경에서 RALP의 한계를 해결하기 위해.
• 정확한 환경 모델에 의존하지 않고도 노이즈 데이터 하에서 성능 보장을 유지하는 방법을 개발하기 위해.
• 실제 세계의 높은 노이즈를 포함한 실용적인 강화학습 시나리오에서 가치 함수 근사에 대한 강건성과 수렴성을 향상시키기 위해.
• 부드러움 가정 하에서 표본 수가 증가함에 따라 노이즈에 의한 오차가 감소함을 입증하기 위해.

제안 방법

• 근처 상태들에 대한 평균을 취함으로써 가치 함수 근사에서의 노이즈를 완화하기 위해 국소적 스무딩 정규화를 도입한다.
• RALP를 확장하여 L1-정규화 근사 선형계획 형식에 국소적 스무딩을 통합한다.
• 값 함수의 부드러움 가정을 사용하여 노이즈 영향이 더 많은 표본으로 줄어들도록 보장한다.
• 이웃 상태들 간의 값 추정치의 큰 변동을 방지하기 위해 수정된 최적화 목표 함수를 사용한다.
• 정규화 과정에서 근처 상태-행동 쌍을 강조하기 위해 커널 기반 가중치 방법을 적용한다.
• 국소적 스무딩 제약 조건을 포함한 근사 선형계획의 변종을 사용하여 최종 최적화 문제를 해결한다.

실험 결과

연구 질문

• RQ1 국소적 스무딩은 잡음이 많은 강화학습 환경에서 RALP의 강건성을 향상시키는가?
• RQ2 다음 상태 샘플이 노이즈가 날 경우 LS-RALP는 성능 보장을 유지하는가?
• RQ3 표본 수가 증가함에 따라 가치 함수 근사에서의 노이즈 오차는 어떻게 행동하는가?
• RQ4 정확한 모델이 필요 없이 LS-RALP는 RALP보다 더 나은 근사 품질을 달성할 수 있는가?
• RQ5 국소적 스무딩이 어떤 조건에서 가치 함수 추정에서 노이즈 영향을 줄이는가?

주요 결과

• 표준 RALP에 비해 LS-RALP는 잡음이 많은 다음 상태 샘플로 인한 오차를 크게 감소시킨다.
• 부드러움 가정 하에서 표본 수가 증가함에 따라 노이즈에 의한 오차는 0에 수렴한다.
• 높은 노이즈 하에서 표준 강화학습 기준 문제에서 LS-RALP는 RALP를 능가한다.
• 환경 모델이 정확하거나 이용 가능하지 않더라도 이 방법은 강력한 성능을 유지한다.
• 실험 결과는 잡음이 많은 도메인에서 더 나은 수렴성과 안정성을 확인한다.
• 국소적 스무딩 메커니즘은 상태 공간의 공간적 구조를 활용하여 가치 함수 추정을 효과적으로 정규화한다.