[論文レビュー] Robotic Table Tennis with Model-Free Reinforcement Learning

Wenbo Gao, Laura Graesser+6 more|arXiv (Cornell University)|Mar 31, 2020

Reinforcement Learning in Robotics参考文献 42被引用数 5

ひとこと要約

この論文では、100Hzで制御する6自由度のロボットアームを対象とした、ボールの軌道モデル化や人間の示範なしに、二様なフォアハンドおよびバックハンドストロークを学習する、ジョイントスペース政策を進化戦略（ES）で訓練するモデルフリー強化学習手法を提示する。カリキュラム学習と時系列畳み込みを活用することで、滑らかでコンactな政策を実現し、80%のボールリターン率を達成する。

ABSTRACT

We propose a model-free algorithm for learning efficient policies capable of returning table tennis balls by controlling robot joints at a rate of 100Hz. We demonstrate that evolutionary search (ES) methods acting on CNN-based policy architectures for non-visual inputs and convolving across time learn compact controllers leading to smooth motions. Furthermore, we show that with appropriately tuned curriculum learning on the task and rewards, policies are capable of developing multi-modal styles, specifically forehand and backhand stroke, whilst achieving 80\% return rate on a wide range of ball throws. We observe that multi-modality does not require any architectural priors, such as multi-head architectures or hierarchical policies.

研究の動機と目的

• 予測ボールモデルや人間の示範に依存せずに、100Hzで高速なロボットテーブルテニス制御を実現するモデルフリー強化学習方策の開発。
• マルチモーダルなプレー様式（例：フォアハンドおよびバックハンド）が、マルチヘッドや階層的ポoliciesといったアーキテクチャ的バイアスなしに、エンドツーエンド強化学習で自然に出現するかの調査。
• 視覚的入力でない非視覚的入力に時系列畳み込みを適用することで、全結合ネットワークと比較して滑らかでコンactな政策を学習できるかの評価。
• スタイルクラッシュや局所最適解を回避しながら、二様な政策の効率的訓練を可能にするカリキュラム学習戦略の設計。
• 密な報酬（例：テーブルへの距離）と報酬形状化が、政策の多様性やパフォーマンスを損なわず学習を改善するかの検証。

提案手法

• 100Hzでリアルタイムにジョイント速度を最適化するため、短い履歴におけるジョイント位置とボール位置に基づき、進化戦略（ES）を用いてポリシー・ネットワークを訓練する。
• 非視覚的プロ prioceptiveおよびボール状態入力を時間軸に沿って処理する1次元畳み込みニューラルネットワーク（CNN）を採用し、時間的ダイナミクスを学習し、滑らかな制御出力を生成する。
• カリキュラム学習スケジュールを採用：初期段階では全テーブル範囲で正規化されたポーズ報酬とDCPS（二重正規化ポーズ形状）を適用し、次第にDTR（テーブルへの距離）の密な成功報酬を導入（ボール範囲を0.5〜0.7に制限）、徐々に全テーブルカバレッジに拡大。
• 二つの主要な報酬を用いて報酬形状化を実施：(1) 安定的かつ両手型のポーズを促進するDCPS、(2) 相手のテーブルへの近接度に基づく密な成功信号であるDTR。
• 分布形状化を実装：ボールの着地分布を段階的に広げ、(0.5, 0.7) から (0.3, 0.7) へ、最終的に全テーブルにまで拡大することで、局所最適解を回避し、二様な行動を促進。
• 成功報酬（リターン時+1.0）とDTR報酬を組み合わせることで、パラダイムの平坦部を脱出し、高成功率領域での探索を向上。

実験結果

リサーチクエスチョン

• RQ1 予測ボールモデルや人間の示範に依存せず、モデルフリー強化学習ポリシーが100Hzでテーブルテニスのボールをリターンできるか？
• RQ2 マルチヘッドや階層的ポリシーといったアーキテクチャ的バイアスなしに、エンドツーエンド強化学習でフォアハンドおよびバックハンドといったマルチモーダルプレーが自然に出現するか？
• RQ3 非視覚的入力に時系列畳み込みを適用することで、全結合ネットワークと比較して、高速ロボット制御における滑らかでコンactなポリシーを学習できるか？
• RQ4 報酬形状化と分布シフトを組み合わせたカリキュラム学習は、二様なポリシーの訓練とスタイルクラッシュの回避にどの程度有効か？
• RQ5 密報酬（例：DTR）とスパース報酬の違いが、高精度ロボットタスクにおけるポリシーの多様性と収束に与える影響は何か？

主な発見

• 提案手法のモデルフリー強化学習は、ボールの軌道モデル化なしに幅広いボール投げに対して80%のリターン率を達成し、優れた性能を示した。
• カリキュラム学習と報酬形状化を用いたポリシーは、アーキテクチャ的バイアスなしに、二様なフォアハンドおよびバックハンドプレー様式を効果的に学習した。
• 非視覚的入力に時系列CNNを適用することで、MLPと比較して滑らかでコンactなポリシーが得られ、特にES訓練フレームワークにおいて顕著な有効性を示した。
• DTRの密報酬を早期に導入すると、一様なポリシークラッシュが発生する可能性があり、報酬設計の感度がポリシーのスタイル出現に強く影響することを示した。
• 分布形状化（ボール着地範囲を段階的に(0.5, 0.7) から全テーブルに拡大）は、訓練の安定性と二様なポリシー学習の両面で顕著な改善効果をもたらした。
• DCPSポーズ報酬とDTR成功報酬を組み合わせることで、初期に二様なポリシーが確立された後も、成功確率の継続的向上が可能であり、特に二様な行動の維持に有効であった。