[論文レビュー] Controllability-Aware Unsupervised Skill Discovery

Seohong Park, Kimin Lee+2 more|arXiv (Cornell University)|Feb 10, 2023

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

要約: Controllability-aware Skill Discovery (CSD) を導入する。これは、 controllability-aware 距離関数と距離最大化型スキル発見を組み合わせて、制御が難しいスキルを徐々に学習する教師なし手法である。

ABSTRACT

One of the key capabilities of intelligent agents is the ability to discover useful skills without external supervision. However, the current unsupervised skill discovery methods are often limited to acquiring simple, easy-to-learn skills due to the lack of incentives to discover more complex, challenging behaviors. We introduce a novel unsupervised skill discovery method, Controllability-aware Skill Discovery (CSD), which actively seeks complex, hard-to-control skills without supervision. The key component of CSD is a controllability-aware distance function, which assigns larger values to state transitions that are harder to achieve with the current skills. Combined with distance-maximizing skill discovery, CSD progressively learns more challenging skills over the course of training as our jointly trained distance function reduces rewards for easy-to-achieve skills. Our experimental results in six robotic manipulation and locomotion environments demonstrate that CSD can discover diverse complex skills including object manipulation and locomotion skills with no supervision, significantly outperforming prior unsupervised skill discovery methods. Videos and code are available at https://seohong.me/projects/csd/

研究の動機と目的

• 単純で学習しやすい挙動にとどまらず、外部報酬なしに教師なしスキル発見を動機づける。
• 達成が難しい遷移を強調する controllability-aware 距離関数を提案する。
• progressive なスキルの複雑さを取り込む距離最大化フレームワークを定式化する。

提案手法

• 一般的な Distance-maximizing Skill Discovery (DSD) 目的を、ユークリッド距離を距離関数 d(·,·) に置換する。
• hard-to-achieve な遷移に大きな値を割り当てる controllability-aware 距離関数 dCSD を、学習済み密度モデル qθ(s′|s) を用いて導入する。
• ポリシーを SAC で intrinsic reward rDSD に基づくスキル z との方向整合性で最適化することで、結合系を学習する。
• d が真の距離度量でない場合には DSD 目的の制約を dual gradient descent により課し、φ(·) と密度モデルを同時に学習する。
• dCSD が有効な伪距量を下界することを示し、任意の非負距離関数の使用を可能にする。
• Fetch 操作、Kitchen、MuJoCo 移動を跨ぐ六つの環境へフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 教師なしのスキル発見を、監視なしで複雑で制御が難しい挙動へと導くことは可能か。
• RQ2 controllability-aware 距離関数は探索を物体操作や他の難しい遷移へ導くか。
• RQ3 提案された DSD フレームワークと学習距離関数は、操作と移動領域で多様で downstream に有用なスキルを生み出せるか。
• RQ4 学習した距離関数は方針の変化に適応し、訓練中にますます難しいスキルを生み出し続けるか。

主な発見

• CSD は監視なしで Fetch 環境における物体操作を含む多様で複雑なスキルの発見を可能にする。
• 学習された controllability-aware 距離は難しく制御が難しい遷移にスキル発見を集中させ、スキルの段階的な複雑さをもたらす。
• Fetch、Kitchen、MuJoCo ドメイン全体で、CSD は従来の教師なし手法（LSD、DIAYN、DADS）よりも物体/状態のカバレッジと下流タスクの性能が高い。
• アブレーションは controllability-aware 距離関数が教師なしで複雑な操作スキルを学ぶために必要であることを示す。