[論文レビュー] Parameter-Free Deterministic Reduction of the Estimation Bias in Continuous Control.

Baturay Sağlam, Enes Duran+3 more|arXiv (Cornell University)|Sep 24, 2021

Reinforcement Learning in Robotics参考文献 42被引用数 5

ひとこと要約

本論文では、Clipped Double Q-learningとMaxmin Q-learningの原則を組み合わせることで、連続的制御における過小評価バイアスを低減する、ハイパーパrameterを必要としない決定論的深層Q学習の変種を提案する。評価関数の目的関数に固定線形結合を用いることで、MuJoCoおよびBox2D環境において最先端の性能を達成し、ほとんどのタスクでベースライン手法を上回る。

ABSTRACT

Approximation of the value functions in value-based deep reinforcement learning systems induces overestimation bias, resulting in suboptimal policies. We show that when the reinforcement signals received by the agents have a high variance, deep actor-critic approaches that overcome the overestimation bias lead to a substantial underestimation bias. We introduce a parameter-free, novel deep Q-learning variant to reduce this underestimation bias for continuous control. By obtaining fixed weights in computing the critic objective as a linear combination of the approximate critic functions, our Q-value update rule integrates the concepts of Clipped Double Q-learning and Maxmin Q-learning. We test the performance of our improvement on a set of MuJoCo and Box2D continuous control tasks and find that it improves the state-of-the-art and outperforms the baseline algorithms in the majority of the environments.

研究の動機と目的

• 強化学習信号の分散が大きい場合に生じる深層アクタ・クリティック法における過小評価バイアスを是正すること。
• 既存手法が過大評価バイアスを軽減するが、連続的制御において顕著な過小評価を引き起こすという限界を克服すること。
• ハイパーパramータチューニングを必要とせず、決定論的な挙動を維持する、ハイパーパラメータフリーのアプローチを開発すること。
• Clipped Double Q-learningとMaxmin Q-learningの原則を統合し、連続的アクション空間における価値推定の安定性を向上させること。
• 標準的な連続的制御ベンチマークにおいて、より優れたサンプル効率とパフォーマンスを達成すること。

提案手法

• 学習可能な重みを必要としない、複数の近似評価関数の固定線形結合としての評価関数の目的関数を定義する。
• 過大評価を低減するため、Clipped Double Q-learningのメカニズムを適用する。
• 過小評価を緩和するために、複数の推定器のうち最小のQ値を選択するMaxmin Q-learningを統合する。
• クリッピングの安定性と最小値集約のロバスト性を組み合わせた、決定論的なQ値関数の更新ルールを用いる。
• 固定重みによるQ推定値の組み合わせを強制する損失関数を用いて評価関数ネットワークを訓練し、一貫性を確保するとともに分散を低減する。
• 推論コストの増加を防ぐために、複数の評価ヘッドを活用しながらも、1つのアクター方策ネットワークを維持する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパラメータを必要としない手法が、連続的制御タスクにおける過小評価バイアスを効果的に低減できるか？
• RQ2 固定重みの線形結合を用いることで、Clipped Double Q-learningとMaxmin Q-learningを統合することにより、分散の高い環境における価値推定の安定性がどのように向上するか？
• RQ3 固定重みの線形結合による評価関数のアンサンブルが、標準的なアクタ・クリティックベースラインと比較して、より優れたサンプル効率と最終的パフォーマンスを達成できるか？
• RQ4 提案手法が、標準的なMuJoCoおよびBox2Dベンチマークで、既存の最先端手法をどの程度上回るか？
• RQ5 追加のハイパーパラメータチューニングやアーキテクチャの複雑化を必要とせず、優れたパフォーマンスを達成できるか？

主な発見

• 高分散報酬が推定誤差を悪化させる連続的制御設定において、提案手法が過小評価バイアスを低減することを示した。
• 固定線形重みによるClipped Double Q-learningとMaxmin Q-learningの統合により、標準的な深層Q学習の変種よりもより正確な価値推定が達成された。
• 提案手法は、MuJoCoおよびBox2Dの連続的制御環境の大多数で最先端のパフォーマンスを達成した。
• 全テスト環境において、最終的報酬と学習の安定性の両面で、ベースライン手法を上回った。
• ハイパーパラメータチューニングを必要としない設計により、評価関数の重み結合のチューニングの必要性が排除され、導入と比較が簡素化された。
• 実験的結果は、特に報酬がスパarsな環境や高分散環境において、従来手法に比して一貫した改善を示した。