[論文レビュー] Continual Learning from Synthetic Data for a Humanoid Exercise Robot

Nicolas Duczek, Matthias Kerzel+1 more|arXiv (Cornell University)|Feb 19, 2021

Human Pose and Action Recognition参考文献 41被引用数 5

ひとこと要約

本稿では、再帰的接続とサブノードを備えたGrow-When-Requiredネットワークに基づく継続的学習アーキテクチャ、Subnode-GWRを提案する。この手法により、人間型ロボット（Pepper）は身体の形状の多様性を伴う身体運動フィードバックにおいて学習と適応が可能になる。回転、平行移動、身体形状の変化に対しても88%の平均精度を達成し、オンラインでの拡大とエピソード記憶により、深刻な忘却を効果的に軽減する。

ABSTRACT

In order to detect and correct physical exercises, a Grow-When-Required Network (GWR) with recurrent connections, episodic memory and a novel subnode mechanism is developed in order to learn spatiotemporal relationships of body movements and poses. Once an exercise is performed, the information of pose and movement per frame is stored in the GWR. For every frame, the current pose and motion pair is compared against a predicted output of the GWR, allowing for feedback not only on the pose but also on the velocity of the motion. In a practical scenario, a physical exercise is performed by an expert like a physiotherapist and then used as a reference for a humanoid robot like Pepper to give feedback on a patient's execution of the same exercise. This approach, however, comes with two challenges. First, the distance from the humanoid robot and the position of the user in the camera's view of the humanoid robot have to be considered by the GWR as well, requiring a robustness against the user's positioning in the field of view of the humanoid robot. Second, since both the pose and motion are dependent on the body measurements of the original performer, the expert's exercise cannot be easily used as a reference. This paper tackles the first challenge by designing an architecture that allows for tolerances in translation and rotations regarding the center of the field of view. For the second challenge, we allow the GWR to grow online on incremental data. For evaluation, we created a novel exercise dataset with virtual avatars called the Virtual-Squat dataset. Overall, we claim that our novel architecture based on the GWR can use a learned exercise reference for different body variations through continual online learning, while preventing catastrophic forgetting, enabling for an engaging long-term human-robot interaction with a humanoid robot.

研究の動機と目的

• 人間型ロボットが学習済みの基準を用いて、身体運動の技術をリアルタイムでフィードバックできるようにすること。
• 再トレーニングを完全に再開することなく、異なるユーザーの身体形状に合わせて運動の基準を適応させることの挑戦に応えること。
• 動的な環境下で、新しいユーザーの形状を継続的に学習する際の深刻な忘却を防ぐこと。
• ロボットの視野内でのユーザーの平行移動や回転に対する耐性を評価すること。
• 人間参加者を用いずに、運動認識システムのトレーニングと評価に適した合成データセットを開発すること。

提案手法

• Subnode-GWRは、多様な身体形状のための段階的成長と記憶容量の向上を可能にするサブノード機構をGamma-GWRに追加する。
• GWRモデル内の再帰的接続により、フレーム間のポーズと運動速度の空間的・時間的関係が捉えられる。
• エピソード記憶は、フレーム単位のポーズと運動ペアを保存し、予測出力との比較を可能にすることで、リアルタイムのフィードバックを実現する。
• 10体の異なる身体測定値を持つ仮想アバターを用いて、現実世界の多様性を再現する、新しい合成データセット「Virtual-Squat」を構築した。
• システムはOpenPoseを用いてリアルタイムのポーズ推定を実行し、距離指標（d_t,pose）を適用して関節位置のずれを検出する。
• サブノード挿入を伴うオンライン学習により、ネットワークは知識を保持したまま段階的に成長できる。

実験結果

リサーチクエスチョン

• RQ1 GWRベースのアーキテクチャは、異なる身体形状における身体運動の複数のバリエーションを学習し、保持できるか？
• RQ2 ユーザーのロボットの視野内での平行移動や回転に対して、このシステムはどの程度耐性を示すか？
• RQ3 Subnode-GWRは、継続的学習による新しいユーザープロファイルの学習において、深刻な忘却をどの程度軽減できるか？
• RQ4 仮想アバターからの合成データは、現実世界の運動フィードバックシナリオへの一般化をロボットに効果的に訓練できるか？
• RQ5 摂動に対する精度と安定性の観点から、Subnode-GWRはベースラインのGWRバージョンと比較してどの程度優れているか？

主な発見

• Subnode-GWRは、回転、平行移動、および併存する摂動を含むすべてのテスト変種で平均88%の精度を達成した。
• 5度の回転では精度がわずか1.3%低下（89.9%から88.6%に）したが、回転に対する強い耐性を示した。
• 5cmの平行移動では精度がわずかに90.1%に上昇したため、位置シフトに対してモデルが耐性を持っていることが示された。
• 回転と平行移動の併存効果により、精度は83.5%に低下したが、上半身の誤差が最大（77.2%の精度）を示した。
• システムは効果的な継続的学習を示し、複数のアバターに対して深刻な忘却を示さずに高い性能を維持した。
• Virtual-Squatデータセットにより、制御された合成条件下でのモデルの耐性と一般化能力の評価が信頼性を持って可能になった。