[논문 리뷰] Bellman Error Based Feature Generation using Random Projections on Sparse Spaces

Mahdi Milani Fard, Yuri Grinberg외 3명|PolyPublie (École Polytechnique de Montréal)|2012. 07. 23.

Reinforcement Learning in Robotics참고 문헌 34인용 수 10

한 줄 요약

이 논문은 랜덤 프로젝션을 사용하여 고차원이고 희박한 특징 공간에서 벨먼 오차 기저 함수(Bellman Error Basis Functions, BEBFs)를 빠르고 강력하게 생성하는 알고리즘을 제안한다. 특징을 로그 크기의 부분공간으로 투영하고 시간 차이에 대해 선형 회귀를 적용함으로써, 유한 샘플 보장과 함께 가치 함수 오차의 수축을 보장한다. 이는 경사 기반 방법과 랜덤 프로젝션을 적용한 LSTD 방법보다 효율성과 정확도에서 뛰어나다.

ABSTRACT

We address the problem of automatic generation of features for value function approximation. Bellman Error Basis Functions (BEBFs) have been shown to improve the error of policy evaluation with function approximation, with a convergence rate similar to that of value iteration. We propose a simple, fast and robust algorithm based on random projections to generate BEBFs for sparse feature spaces. We provide a finite sample analysis of the proposed method, and prove that projections logarithmic in the dimension of the original space are enough to guarantee contraction in the error. Empirical results demonstrate the strength of this method.

연구 동기 및 목표

• 고차원이고 희박한 상태 공간에서 가치 함수 근사에 대한 확장 가능하고 자동적인 특징 생성 문제를 해결하기 위해.
• 영역에 특화된 특징 공학 없이도 벨먼 오차 기저 함수(BEBFs)를 효율적으로 생성하는 방법을 개발하기 위해.
• 유한 샘플 이론적 보장을 통해 오차 수축을 보장하면서도 계산 효율성을 유지하기 위해.
• 최소한의 초모수 조정으로 대규모 강화 학습 문제에서 강력하고 빠른 정책 평가를 가능하게 하기 위해.

제안 방법

• 이 방법은 원래 차원에 비해 로그 크기로 감소하는 특징 공간의 차원을 랜덤 프로젝션을 통해 감소시킨다.
• 각 반복에서 알고리즘은 원래 특징을 낮은 차원의 공간으로 투영하고, 시간 차이에 대해 선형 회귀를 적용하여 벨먼 오차를 추정한다.
• 투영된 특징을 사용해 가치 함수 근사의 오차를 반복적으로 개선하며, 가중 L² 노름 하에서 오차 수축을 보장한다.
• 이론적 분석을 통해 원래 특징 차원 D에 대해 O(log D)개의 프로젝션으로 충분하여 오차 수축을 보장할 수 있음을 입증한다.
• 이 방법은 k-희박 특징의 구조를 활용하며 이산 및 연속 상태 공간 모두에서 작동하며 타일 코딩 표현을 포함한다.
• 추정 오차를 제한하고 안정성을 확보하기 위해 모어-펜로즈 의사역행렬과 농도 불등식을 사용한다.

실험 결과

연구 질문

• RQ1 고차원이고 희박한 특징 공간에서 랜덤 프로젝션을 사용해 BEBFs를 효율적으로 생성할 수 있는가?
• RQ2 가치 함수 근사 오차의 수축을 보장하기 위해 필요한 최소한의 랜덤 프로젝션 수는 얼마인가?
• RQ3 제안된 방법은 경사 기반 방법과 랜덤 프로젝션을 적용한 LSTD 방법에 비해 성능과 샘플 효율성에서 어떻게 비교되는가?
• RQ4 이 방법은 다양한 초모수 설정에서 얼마나 강력하고 저비용으로 유지되는가?

주요 결과

• 원래 특징 차원 D에 대해 오직 O(log D)개의 랜덤 프로젝션으로도 오차 수축을 달성하며, 이는 이론적 수렴 보장을 보장한다.
• 실험 결과는 알고리즘이 샘플 효율성과 최종 오차 모두에서 경사 기반 특징 생성 방법과 LSTD에 랜덤 프로젝션을 적용한 방법보다 뛰어나다는 것을 보여준다.
• 알고리즘은 특징 수에 대해 다항 로그 시간 복잡도로 각 반복을 처리하므로 고차원 공간으로도 확장 가능하다.
• 이 방법은 낮은 메모리 복잡도를 보이며 초모수 설정에 대해 강건하여 실무에서 최소한의 조정이 필요하다.
• 이론적 분석은 원래 특징 공간이 크고 희박한 경우에도 유한 샘플 조건 하에서 오차 수축을 유지함을 확인한다.