[논문 리뷰] Sample Efficient Feature Selection for Factored MDPs

Zhaohan Daniel Guo, Emma Brunskill|arXiv (Cornell University)|2017. 03. 09.

Reinforcement Learning in Robotics참고 문헌 10인용 수 3

한 줄 요약

이 논문은 인자 분해된 MDP에서 학습 중에 관련 특징을 자동으로 선택하는 온라인 강화학습 알고리즘인 FS-EE를 제안한다. 목표 상태에 도달하지 못함에 따라 부모 특징의 진입 차수를 동적으로 조정함으로써, 필요한 특징의 진입 차수에만 따라 샘플 복잡도가 증가하도록 한다. 이로 인해 필요한 특징의 진입 차수가 낮을 경우 전체 특징을 사용하는 방법에 비해 지수적 향상이 이루어진다.

ABSTRACT

In reinforcement learning, the state of the real world is often represented by feature vectors. However, not all of the features may be pertinent for solving the current task. We propose Feature Selection Explore and Exploit (FS-EE), an algorithm that automatically selects the necessary features while learning a Factored Markov Decision Process, and prove that under mild assumptions, its sample complexity scales with the in-degree of the dynamics of just the necessary features, rather than the in-degree of all features. This can result in a much better sample complexity when the in-degree of the necessary features is smaller than the in-degree of all features.

연구 동기 및 목표

• 인자 분해된 MDP에서 큰 중복 특징 집합을 사용할 경우 발생하는 높은 샘플 복잡도 문제를 해결한다.
• 최적의 정책 학습에 필요한 특징만 자동으로 식별하고 집중하는 온라인 RL 알고리즘을 개발한다.
• 전체 특징 집합이 아닌 최소한의 필요 특징 집합의 진입 차수에 따라 샘플 복잡도가 스케일링되도록 한다.
• 필요한 특징이나 그 부모 구조에 대한 사전 지식 없이도 샘플 효율성에 대한 이론적 보장을 제공한다.

제안 방법

• 탐색 과정에서 각 특징의 후보 부모 집합의 진입 차수를 실패 기반 메커니즘으로 점진적으로 증가시킨다.
• 목표 상태에 도달하지 못함을, 현재 부모 집합 크기가 정확한 동역학 모델링에 부적합함을 나타내는 신호로 활용한다.
• 학습 성능에 기반해 각 특징의 부모 집합 크기를 동적으로 확장하는 동역학 모델을 유지한다.
• 모든 특징을 철저히 테스트하지 않고도 부족한 부모 집합 크기를 탐지할 수 있도록 전이 모델에 약간의 가정을 도입한다.
• 후행 처리 또는 이방식 특징 선택을 피하기 위해 특징 선택을 탐색-이용 균형의 핵심에 통합한다.
• 이전의 FMDP RL 알고리즘(예: LSE-RMax)을 기반으로 하되, 이론적 보장과 함께 온라인 특징 선택을 수행하도록 확장한다.

실험 결과

연구 질문

• RQ1 온라인 RL 알고리즘이 인자 분해된 MDP에서 샘플 복잡도를 필수 특징의 진입 차수에만 따라 스케일링할 수 있는가?
• RQ2 필수 특징이나 그 부모 구조에 대한 사전 지식 없이 온라인 학습 중에 특징 선택을 수행할 수 있는가?
• RQ3 목표 상태에 도달하지 못함이 동역학 모델의 부모 집합 확장을 안내하는 신뢰할 수 있는 신호로 사용될 수 있는가?
• RQ4 필요한 특징 선택이 없을 경우, 제안된 방법이 최신의 FMDP RL 알고리즘과 비교해 성능을 유지할 수 있는가?
• RQ5 필수 특징의 올바른 진입 차수가 도달한 후에는 더 이상 부모 집합 확장을 중단함으로써 불필요한 탐색을 피할 수 있는가?

주요 결과

• FS-EE는 샘플 복잡도가 오직 필요한 특징의 진입 차수에 따라 증가하며, 전체 특징 집합이 아닌, 이로 인해 이전의 FMDP RL 알고리즘에 비해 지수적 향상을 이룬다.
• 불필요한 특징이 포함된 토이 도메인에서, FS-EE는 첫 2000단계 동안 표준 FMDP 알고리즘보다 빠른 속도로 관련 없는 특징을 제거하고 수렴함으로써 우수한 성능을 보였다.
• 2000단계에서 진입 차수를 증가시켰을 때, FS-EE는 일시적인 성능 저하를 경험했으며, 이는 이전에 제거된 특징이 다시 관련성이 생기게 되었기 때문에 기대한 바와 일치한다.
• 진입 차수가 3에 도달한 후, FS-EE는 LSE-RMax 및 MET-RMax와 같은 베이스라인 알고리즘과 비교해 유사한 성능을 유지함으로써 강건성과 확장성을 확인했다.
• 주식 거래 도메인에서 모든 특징이 필수적인 상황에서, FS-EE는 약 5500의 누적 보상을 기록하며 MET-RMax를 능가하고 LSE-RMax 성능에 근접했다.
• 알고리즘은 최적의 특징 집합이나 부모 구조에 대한 사전 지식 없이도 온라인 RL에 특징 선택을 이론적 보장과 함께 통합할 수 있음을 보여주었다.