[論文レビュー] Difference of Convex Functions Programming Applied to Control with Expert Data

Bilal Piot, Matthieu Geist+1 more|arXiv (Cornell University)|Jun 3, 2016

Reinforcement Learning in Robotics参考文献 8被引用数 6

ひとこと要約

本論文は、最適ベルマン残差（OBR）ノルムが凸関数の差（DC）関数であるという事実を活用して、差分凸（DC）プログラミングを用いて強化学習および模倣学習の2つのアルゴリズム—RCALおよびRLED—を改善する。最適化にDCアルゴリズム（DCA）を用いることで、RCALでは顕著な性能向上が達成された一方、RLEDではわずかな改善にとどまり、専門家データを用いた制御におけるDCプログラミングの可能性が示された。

ABSTRACT

This paper reports applications of Difference of Convex functions (DC) programming to Learning from Demonstrations (LfD) and Reinforcement Learning (RL) with expert data. This is made possible because the norm of the Optimal Bellman Residual (OBR), which is at the heart of many RL and LfD algorithms, is DC. Improvement in performance is demonstrated on two specific algorithms, namely Reward-regularized Classification for Apprenticeship Learning (RCAL) and Reinforcement Learning with Expert Demonstrations (RLED), through experiments on generic Markov Decision Processes (MDP), called Garnets.

研究の動機と目的

• バッチ強化学習から専門家データを用いた制御および模倣学習（LfD）へのDCプログラミング技術の応用を拡張すること。
• RCALおよびRLEDの目的関数をDCプログラムとして再定式化することで、最適化性能の向上を図ること。
• DCAに基づく最適化が、これらのアルゴリズムにおいて標準的勾配降下法を上回ることを評価すること。
• 専門家デモンストレーションを伴う順序決定問題における、DCに基づく最適化のスケーラビリティおよびロバストネスを調査すること。
• 今後のDCに基づく強化学習およびLfD手法の拡張において、非パラメトリック勾配降下法の可能性を検討すること。

提案手法

• 最適ベルマン残差（OBR）ノルムを差分凸（DC）関数として形式化し、DCプログラミングの適用を可能にする。
• 正則化分類基準を凸関数の差として表現することで、RCALおよびRLEDアルゴリズムをDCプログラムとして再定式化する。
• DCアルゴリズム（DCA）を用いて、勾配降下法または線形計画法により得られる凸部分問題を繰り返し解く。
• DCAと標準的勾配降下法の公平な比較を保つために、更新回数を一定にし、初期化を共通（例：LSPI出力）とする。
• 専門家データおよびロールインデータのサイズを変化させたランダムに生成されたマルコフ決定過程（Garnets）に本手法を適用する。
• 平均エピソード報酬や改善比などの性能指標を用いて、DCAとベースライン勾配降下法の評価を行う。

実験結果

リサーチクエスチョン

• RQ1 OBRノルムに基づく強化学習およびLfDアルゴリズムにおける最適化改善に、DCプログラミングを効果的に適用できるか？
• RQ2 RCAL基準の最小化にDCAを用いることで、標準的勾配降下法に比べて測定可能な性能向上が得られるか？
• RQ3 RLEDは勾配降下法でもすでに優れた性能を発揮しているが、DCAはどの程度RLEDの性能を向上させるか？
• RQ4 専門家データおよびロールインデータのサイズが、RLEDにおけるDCAと標準的最適化の相対的利点にどのように影響するか？
• RQ5 DCに基づく最適化を非パラメトリック特徴学習に拡張することで、強化学習およびLfDにおける手作業による特徴設計への依存を軽減できるか？

主な発見

• DCプログラミングはRCALにおいて顕著な性能向上をもたらし、複数のGarnet環境において平均エピソード報酬に明確な向上が観察された。
• DCAを用いたRCALの改善比は顕著であり、明確な実験的優位性を示している。
• RLEDでは、DCAによる性能向上は標準的勾配降下法に比べてわずかにとどまり、勾配降下法を用いたRLEDがすでに非常に効果的であることが示唆された。
• 性能曲線および改善比プロットの両方から、RLEDとRLEDDC（DCAを用いたRLED）の性能差は最小限であることが確認された。
• RLED実験の詳細な分析から、DCAによる向上は限定的であり、これはベースラインがすでに優れていたためと考えられる。
• 結果から、OBRノルムが最適化の主要基準となる問題、特にRCALのような問題において、DCプログラミングが特に有益であることが示唆された。