[논문 리뷰] Greedy Algorithms for Sparse Reinforcement Learning

Christopher Painter-Wakefield, Ronald Parr|arXiv (Cornell University)|2012. 06. 27.

Energy Harvesting in Wireless Networks참고 문헌 22인용 수 30

한 줄 요약

이 논문은 샘플 효율성과 근사 정확도를 향상시키기 위해 희소 강화학습을 위한 탐욕적 특징 선택 알고리즘—특히 직교 매칭 퇴적(OMP)의 변종—을 제안한다. 이는 OMP-BRM를 도입하여 이론적 복구 보장을 제공하고, OMP-TD는 벤치마크 작업에서 정규화된 L1 방법보다 정확도와 속도 면에서 경험적으로 뛰어나다.

ABSTRACT

Feature selection and regularization are becoming increasingly prominent tools in the efforts of the reinforcement learning (RL) community to expand the reach and applicability of RL. One approach to the problem of feature selection is to impose a sparsity-inducing form of regularization on the learning method. Recent work on $L_1$ regularization has adapted techniques from the supervised learning literature for use with RL. Another approach that has received renewed attention in the supervised learning community is that of using a simple algorithm that greedily adds new features. Such algorithms have many of the good properties of the $L_1$ regularization methods, while also being extremely efficient and, in some cases, allowing theoretical guarantees on recovery of the true form of a sparse target function from sampled data. This paper considers variants of orthogonal matching pursuit (OMP) applied to reinforcement learning. The resulting algorithms are analyzed and compared experimentally with existing $L_1$ regularized approaches. We demonstrate that perhaps the most natural scenario in which one might hope to achieve sparse recovery fails; however, one variant, OMP-BRM, provides promising theoretical guarantees under certain assumptions on the feature dictionary. Another variant, OMP-TD, empirically outperforms prior methods both in approximation accuracy and efficiency on several benchmark problems.

연구 동기 및 목표

• 특징 선택을 통해 희소성을 촉진하여 강화학습에서 고차원 특징 공간의 과제를 해결한다.
• 희소 복구에서 L1 정규화의 한계를 극복하기 위해 이론적 및 경험적으로 우수한 성능을 보이는 탐욕적 알고리즘을 탐색한다.
• 시간 차분 학습 환경에서의 강화학습에 특화된 OMP 기반 방법을 개발하고 분석한다.
• 탐욕적 알고리즘이 기존의 L1 정규화된 접근 방식보다 더 높은 근사 정확도와 계산 효율성을 달성할 수 있음을 보여준다.
• OMP-BRM가 진정한 희소 가치 함수를 복구할 수 있는 이론적 조건을 설정한다.

제안 방법

• 강화학습의 시간 차분(TD) 학습 프레임워크에 직교 매칭 퇴적(OMP) 알고리즘을 적응시킨다.
• 잔차 TD 오차와의 상관관계를 기반으로 특징을 탐욕적으로 선택하는 OMP-TD라는 변종을 도입한다.
• 최적 반응 업데이트를 사용하여 이론적 복구 보장을 향상시키기 위해 OMP-BRM(최적 반응 매칭)을 제안한다.
• 특징 사전을 사용하여 가치 함수를 기저 함수들의 희소 선형 조합으로 표현한다.
• 직교 투영을 적용하여 잔차의 수직성을 유지함으로써 안정적이고 효율적인 특징 선택을 보장한다.
• 탐욕적 특징 선택을 TD(0) 업데이트 규칙에 통합하여 희소 함수 근사와 함께 온라인 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 OMP를 통한 탐욕적 특징 선택이 강화학습에서 L1 정규화된 방법보다 더 높은 근사 정확도와 계산 효율성을 달성할 수 있는가?
• RQ2 OMP-BRM가 어떤 조건에서 진정한 희소 가치 함수를 증명 가능하게 복구할 수 있는가?
• RQ3 왜 가장 자연스러운 희소 복구 시나리오가 표준 강화학습 설정에서 실패하는가?
• RQ4 OMP-TD는 표준 벤치마크 환경에서 수렴 속도와 정확도 면에서 L1 정규화된 TD 학습과 비교해 어떻게 다른가?
• RQ5 함수 근사에서 강화학습에 대한 탐욕적 선택과 L1 정규화 사이의 이론적이고 경험적인 상충 관계는 무엇인가?

주요 결과

• OMP-TD는 여러 표준 강화학습 문제에서 L1 정규화된 방법보다 근사 정확도와 계산 효율성 면에서 뛰어나다.
• 경험 데이터의 i.i.i.d. 성격이 없고 부트스트랩 오차가 존재하기 때문에 표준 강화학습 설정에서 가장 자연스러운 희소 복구 시나리오가 실패한다.
• OMP-BRM는 특징 사전과 데이터 분포에 대한 특정 가정 하에 진정한 희소 가치 함수를 복구할 수 있는 이론적 보장을 제공한다.
• OMP와 같은 탐욕적 알고리즘은 L1 방법과 비슷한 성능을 달성하면서도 실제로 훨씬 더 효율적일 수 있다.
• 경험 결과에 따르면 OMP-TD는 표준 제어 작업에서 L1 정규화된 TD 학습보다 더 빠르게 수렴하고 낮은 오차를 기록한다.
• 이론적 분석에 따르면 OMP-BRM는 비일관성 조건과 충분한 샘플링 조건 하에서 올바른 특징 집합의 복구를 보장한다.