[论文解读] Approximate Exploration through State Abstraction

Adrien Ali Taïga, Aaron Courville+1 more|arXiv (Cornell University)|Aug 29, 2018

Reinforcement Learning in Robotics被引用 4

一句话总结

本文通過將基於偽計數的探索獎勵與狀態抽象聯繫起來，探討了強化學習中的近似探索，揭示了密度模型如何隱式定義抽象，進而導致探索不足或過度探索。本文提出了一種新的偽計數獎勵，解決了顯式與隱式抽象之間的不匹配，進而提升了非表格設定下的探索效率與理論保障。

ABSTRACT

Although exploration in reinforcement learning is well understood from a theoretical point of view, provably correct methods remain impractical. In this paper we study the interplay between exploration and approximation, what we call approximate exploration. Our main goal is to further our theoretical understanding of pseudo-count based exploration bonuses (Bellemare et al., 2016), a practical exploration scheme based on density modelling. As a warm-up, we quantify the performance of an exploration algorithm, MBIE-EB (Strehl and Littman, 2008), when explicitly combined with state aggregation. This allows us to confirm that, as might be expected, approximation allows the agent to trade off between learning speed and quality of the learned policy. Next, we show how a given density model can be related to an abstraction and that the corresponding pseudo-count bonus can act as a substitute in MBIE-EB combined with this abstraction, but may lead to either under- or over-exploration. Then, we show that a given density model also defines an implicit abstraction, and find a surprising mismatch between pseudo-counts derived either implicitly or explicitly. Finally we derive a new pseudo-count bonus alleviating this issue.

研究动机与目标

• 理解基於偽計數的探索在非表格環境中的理論行為。
• 分析狀態抽象如何影響基於模型的強化學習演算法（如 MBIE-EB）的探索表現。
• 識別基於密度模型的偽計數方法中，顯式與隱式抽象之間的不匹配。
• 提出一種新的偽計數獎勵，以減輕由該不匹配所導致的探索不足與過度探索。
• 改善實務強化學習設定中探索速度與策略品質之間的權衡。

提出的方法

• 將 MBIE-EB 搭配顯式狀態聚合應用，推導出依賴於抽象品質與大小的性能界限。
• 將偽計數與狀態聚合關聯，顯示其可取代實際計數，但可能導致探索不足或過度探索。
• 識別出偽計數透過密度模型隱式定義了一種抽象，此抽象可能與預期的顯式抽象不一致。
• 推導出一種新的偽計數獎勵，使隱式抽象與預期的顯式抽象對齊，從而減少探索低效率。
• 透過理論分析與在九宮格迷宮環境中的實證評估，驗證所提出的方法。
• 使用獎勵與轉移的凸組合，根據狀態聚合函數定義抽象的馬爾可夫決策過程。

实验结果

研究问题

• RQ1 狀態抽象如何影響 MBIE-EB 在學習速度與策略品質方面的表現？
• RQ2 在狀態抽象下，基於密度模型的偽計數在 MBIE-EB 中在多大程度上可作為實際計數的有效替代？
• RQ3 使用偽計數時，顯式與隱式抽象之間的不匹配為何發生，其後果為何？
• RQ4 是否可推導出一種修正的偽計數獎勵，使隱式抽象與顯式設計對齊，從而提升探索的可靠性？
• RQ5 所提出的方法與標準 MBIE-EB 及使用偽計數的 MBIE-EB 相比，在累積獎勵與魯棒性方面表現如何？

主要发现

• 在 MBIE-EB 中採用顯式狀態抽象，可在學習速度與策略品質之間取得權衡，細緻的聚合可帶來更好的表現。
• 在 MBIE-EB 中使用偽計數可能導致探索不足（無法達成理論保證）或過度探索（樣本使用過多），論文已對此進行量化。
• 偽計數透過密度模型隱式定義了一種抽象，此抽象可能與預期的顯式抽象不一致，進而導致表現下降。
• 發現一個出人意料的不匹配：顯式與隱式推導出的偽計數行為之間存在差異，進而動搖理論保證。
• 所提出的新型偽計數獎勵解決了此不匹配，提升了不同超參數設定下的探索效率與魯棒性。
• 實證結果顯示，MBIE-EB-PC（採用新獎勵）在前 10,000 個時間步內累積獎勵更高，且對超參數選擇更具魯棒性，優於標準 MBIE-EB。