[論文レビュー] Unsupervised Behaviour Discovery with Quality-Diversity Optimisation

Luca Grillotti, Antoine Cully|arXiv (Cornell University)|Jun 10, 2021

Evolutionary Algorithms and Applications被引用数 8

ひとこと要約

本稿では、手動で定義された記述子を必要とせず、生のセンサデータから自律的に行動記述子を学習するQuality-Diversity（QD）アルゴリズム、AURORAを提案する。教師なし次元削減とQD最適化を組み合わせることで、手動で定義されたベースラインと同等の性能を示す多様なロボット行動を発見し、より多くの行動特徴において新規性を捉えることができる。

ABSTRACT

Quality-Diversity algorithms refer to a class of evolutionary algorithms designed to find a collection of diverse and high-performing solutions to a given problem. In robotics, such algorithms can be used for generating a collection of controllers covering most of the possible behaviours of a robot. To do so, these algorithms associate a behavioural descriptor to each of these behaviours. Each behavioural descriptor is used for estimating the novelty of one behaviour compared to the others. In most existing algorithms, the behavioural descriptor needs to be hand-coded, thus requiring prior knowledge about the task to solve. In this paper, we introduce: Autonomous Robots Realising their Abilities, an algorithm that uses a dimensionality reduction technique to automatically learn behavioural descriptors based on raw sensory data. The performance of this algorithm is assessed on three robotic tasks in simulation. The experimental results show that it performs similarly to traditional hand-coded approaches without the requirement to provide any hand-coded behavioural descriptor. In the collection of diverse and high-performing solutions, it also manages to find behaviours that are novel with respect to more features than its hand-coded baselines. Finally, we introduce a variant of the algorithm which is robust to the dimensionality of the behavioural descriptor space.

研究の動機と目的

• QDアルゴリズムにおける手動で定義された行動記述子の限界に対処すること。これは、事前のタスク知識を要し、多様性に偏りをもたらす可能性がある。
• ロボットが生のセンサデータのみを用いて、多様で高パフォーマンスな行動のレパートアを自律的に発見できることを実現すること。
• 意味的で低次元の行動記述子を教師なしで学習できるQDアルゴリズムの開発。
• 新たなコンテナサイズ制御機構により、学習された行動記述子空間の次元数に対して耐性を示すようにすること。
• シミュレーテッドロボットタスクにおいて本手法を評価し、従来の手動で定義されたQDベースラインと比較すること。

提案手法

• AURORAはQD最適化フェーズとエンコーダー更新フェーズを交互に繰り返し、行動記述子学習を段階的に改善する。
• ロボットコントローラーからの生のセンサデータが、対照的学習で訓練されたニューラルオートエンコーダーを用いて低次元の行動記述子に符号化される。
• コンテナ内での符号化された行動記述子間の距離に基づいて新規性が計算され、排他的なε優位性基準を用いたk近傍法が用いられる。
• コンテナは、既存メンバーに対して十分な新規性を有する高フィットネスの個体のみを追加することで、多様性とパフォーマンスを維持する。
• コンテナサイズ制御（CSC）機構により、比例制御ループを用いてコンテナサイズを動的に調整し、目標サイズを維持する。
• エンコーダーは、コンテナ内の現在の行動分布に適応するため、定期的にコンテナからのセンサデータを用いて再訓練される。

実験結果

リサーチクエスチョン

• RQ1 QDアルゴリズムは、手動で定義された仕様なしに、生のセンサデータから効果的な行動記述子を学習できるか？
• RQ2 AURORAのパフォーマンスと多様性は、行動カバレッジとフィットネスの観点から、従来の手動で定義されたQDベースラインと比べてどの程度か？
• RQ3 AURORAは、手動で定義された記述子と比較して、より多くの特徴において行動の新規性を捉えられるか？
• RQ4 AURORAは、学習された行動記述子空間の次元数の変動に対してどの程度耐性を示すか？
• RQ5 AURORAは、手動で定義しづらい複雑なロボットタスクに一般化できるか？

主な発見

• AURORAは、迷路走破、六脚歩行、エアホッケーの3つのシミュレーテッドロボットタスクにおいて、手動で定義されたQDベースラインと同等のパフォーマンスを達成した。
• 本手法は、手動で定義されたベースラインよりも多くの特徴において新規な行動を発見しており、より広範な行動の多様性を示している。
• コンテナサイズ制御を備えたAURORA-CSCは、異なる記述子空間次元数においても安定したコンテナサイズとパフォーマンスを維持した。
• AURORAのパフォーマンスは、手動で定義されたBD（行動記述子）に対するセンサデータの情報量に依存する。センサデータが豊富な場合、AURORAはより洗練された行動差を捉えることができる。
• コンテナサイズ制御機構は、学習された記述子空間の次元数が変化しても、コンテナの膨張を効果的に防止した。
• 本手法は実世界への展開に有望であるが、将来的にはリセットされない、部分的に観測可能な環境での評価が今後の課題である。