[論文レビュー] Discount Factor as a Regularizer in Reinforcement Learning

Ron Amit, Ron Meir+1 more|arXiv (Cornell University)|Jul 4, 2020

Evolutionary Algorithms and Applications被引用数 16

ひとこと要約

本稿では、時系列的差分（TD）学習における割引率を低くすることで、活性化正則化と理論的に同等の効果が得られることを確立しており、データが限られた状況下で一般化性能が向上することを示している。実験的に、データがスパースで、非一様であるか、混合率が低い状況下では、割引正則化が標準的なL2正則化を上回ることを示しており、性能はデータ分布やダイナミクスに強く依存する。

ABSTRACT

Specifying a Reinforcement Learning (RL) task involves choosing a suitable planning horizon, which is typically modeled by a discount factor. It is known that applying RL algorithms with a lower discount factor can act as a regularizer, improving performance in the limited data regime. Yet the exact nature of this regularizer has not been investigated. In this work, we fill in this gap. For several Temporal-Difference (TD) learning methods, we show an explicit equivalence between using a reduced discount factor and adding an explicit regularization term to the algorithm's loss. Motivated by the equivalence, we empirically study this technique compared to standard $L_2$ regularization by extensive experiments in discrete and continuous domains, using tabular and functional representations. Our experiments suggest the regularization effectiveness is strongly related to properties of the available data, such as size, distribution, and mixing rate.

研究の動機と目的

• 強化学習における割引率を低くすることによる正則化効果を調査すること。
• TD学習における割引正則化と活性化正則化の間の明示的な同等性を形式的に確立すること。
• 表計算およびディープRLベンチマークにおいて、L2正則化と比較して割引正則化の有効性を実験的に評価すること。
• データ依存要因（例：サンプル数、状態訪問の均一性、混合率）が割引正則化の成功に与える影響を同定すること。
• 関数近似設定において、割引正則化が標準的なL2正則化を上回る、または補完的となる条件を探索すること。

提案手法

• TD学習における割引率を低くした場合と損失関数に活性化正則化項を追加した場合の明示的な数学的同等性を導出する。
• 関数近似を伴うTD(0)、TD(λ)、SARSAなどの複数のTD学習の変種にこの同等性を適用する。
• データが限られた状況下での性能評価のため、表計算MDPと連続制御ベンチマーク（例：Mujoco環境）を用いる。
• サンプル数、状態訪問の均一性、混合率を変化させたさまざまなデータレジームにおいて、割引正則化と標準的なL2正則化を比較する。
• TD3などのディープRLアルゴリズムを用いて、制御されたデータ収集プロトコルのもとで連続制御タスクにおける一般化性能をテストする。
• 系統的なアブレーションスタディを通じて、データ分布と混合率が正則化効果に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 TD学習において、割引率を低くすることと、明示的な正則化項を追加することの間には、形式的な同等性が存在するか？
• RQ2 割引正則化の有効性は、データのサイズ、状態訪問の均一性、混合率といったデータ特性にどのように依存するか？
• RQ3 どのような状況下で、割引正則化が価値関数推定において標準的なL2正則化を上回るか？
• RQ4 ディープRLにおいて、割引正則化は伝統的なL2正則化の代替または補完的選択肢と見なせるか？
• RQ5 関数近似設定において、割引正則化が一般化性能を向上させる条件は何か？

主な発見

• 割引率を低くした場合とTD学習損失関数に活性化正則化項を追加した場合の理論的同等性が確立された。
• 表計算設定では、データが限られていたり、状態訪問が非一様であったりする場合に、L2正則化と同等の性能が達成された。
• データがスパースで、状態訪問分布が非一様であるか、混合率が低い状況下では、ディープRLにおける割引正則化が一般化性能を顕著に向上させた。
• 割引正則化の有効性は、データ収集プロセスの混合率と強く相関しており、低い混合率であるほど性能が向上しやすいことがわかった。
• Hopper-v2などの連続制御ベンチマークでは、限られたデータ下で割引正則化がL2正則化を上回り、中間の割引値で最適性能が観察された。
• 本研究では、関数近似設定において割引正則化とL2正則化の相対的性能が異なることが判明し、状況に応じた優位性があることが示された。