[論文レビュー] Band-limited Soft Actor Critic Model

Miguel Vázquez-Martin del Campo, Zhengxing Chen+3 more|arXiv (Cornell University)|Jun 19, 2020

Neural Networks and Reservoir Computing参考文献 19被引用数 4

ひとこと要約

本論文では、評価関数の高周波成分からの干渉を低減するため、評価関数の空間的分解能を制限する分離可能畳み込みフィルタを適用することで、サンプル効率と学習安定性を向上させるバンドリミットド・ソフトアクトアクリティク（SAC）モデルを提案する。この手法により、連続的制御環境、特にノイズの多い現実世界の条件下でも、状態行動価値近似の低周波と高周波成分を分離することで性能が向上する。

ABSTRACT

Soft Actor Critic (SAC) algorithms show remarkable performance in complex simulated environments. A key element of SAC networks is entropy regularization, which prevents the SAC actor from optimizing against fine grained features, oftentimes transient, of the state-action value function. This results in better sample efficiency during early training. We take this idea one step further by artificially bandlimiting the target critic spatial resolution through the addition of a convolutional filter. We derive the closed form solution in the linear case and show that bandlimiting reduces the interdependency between the low and high frequency components of the state-action value approximation, allowing the critic to learn faster. In experiments, the bandlimited SAC outperformed the classic twin-critic SAC in a number of Gym environments, and displayed more stability in returns. We derive novel insights about SAC by adding a stochastic noise disturbance, a technique that is increasingly being used to learn robust policies that transfer well to the real world counterparts.

研究の動機と目的

• 状態行動価値関数のスペクトルバイアスおよび周波数成分がSACの学習ダイナミクスと性能に与える影響を調査すること。
• 評価関数近似における高周波成分が引き起こす不安定性と分散を是正すること。これらの成分は低周波成分に伝播し、方策収束を妨げる可能性がある。
• 評価関数の出力に明示的なバンド制限を施すことで、学習効率と耐性が向上するかどうかを検討すること。特にノイズが多い、または不完全な現実世界の環境において有効であるかを検証する。
• エントロピー正則化および温度ハイパーパrameterが価値関数の低周波と高周波成分の結合に果たす役割を理解すること。

提案手法

• ターゲット評価関数の出力をバンド制限するために分離可能畳み込みフィルタを導入し、状態行動価値関数の高周波成分の学習能力を制限する。
• フィルタ帯域幅を方策の有効分解能に一致させ、方策のエントロピーと探索行動に応じて動的に調整する。
• 線形ケースにおいてバンドリミットド評価関数の閉形式解を導出し、一様方策下では低周波と高周波成分が完全に分離されることを示す。
• 自己相関のある時空間的ノイズを再現するためにオーレンシュタイン・アウルバック過程を用い、実世界の摂動を模擬する。
• ノイズのない状態とノイズのある状態の両方で、固定された温度を用いて標準SACとバンドリミットドSACをGym環境で比較し、バンドリミットの効果を隔離する。
• t検定を用いて、2つのモデル間の平均報酬の差の有意性を評価する。

実験結果

リサーチクエスチョン

• RQ1 評価関数の空間的分解能をバンドリミットすることで、連続的制御環境におけるサンプル効率と漸近的性能が向上するか？
• RQ2 バンドリミットが状態行動価値関数の低周波と高周波成分間の相関性に与える影響は何か？
• RQ3 自己相関のある報酬ノイズに対してバンドリミットが、実世界の環境的摂動を模擬する上で耐性を高めるか？
• RQ4 温度ハイパーパrameterと価値関数における低周波と高周波成分の結合度との関係は何か？
• RQ5 バンドリミットは、学習後期における学習軌道の安定性と報酬の分散低減に寄与するか？

主な発見

• バンドリミットドSACは、Gym環境の5つのうち3つ（Ant, HalfCheetah, Hopper）で標準SACを上回る平均報酬を達成し、t統計量が1を超える有意な改善が得られた。
• バンドリミットにより学習の安定性が向上し、実行間で一貫した報酬と低い分散を示した。
• 自己相関のある報酬摂動が存在するノイズ環境下でも、バンドリミットドSACは標準SACよりも高い報酬を示した。温度を固定した状態でも同様の結果が得られたため、高周波ノイズへの感受性が低減していることが示された。
• 閉形式解から、一様方策下では価値関数近似において低周波と高周波成分が完全に分離されていることが判明した。方策が決定的になると、結合度は低下する。
• バンドリミットドSACにおける温度ハイパーパrameterは二重の役割を果たす：方策エントロピーの制御と、価値関数内周波数成分間の結合度の制御。
• 結果から、価値関数の高周波成分は学習が難しく、不安定性を引き起こす可能性があることが示され、これらの成分を制限することで全体の学習効率と耐性が向上することが明らかになった。