[논문 리뷰] Continual Learning from Synthetic Data for a Humanoid Exercise Robot

Nicolas Duczek, Matthias Kerzel외 1명|arXiv (Cornell University)|2021. 02. 19.

Human Pose and Action Recognition참고 문헌 41인용 수 5

한 줄 요약

이 논문은 반복 연결과 서브노드를 갖춘 Grow-When-Required 네트워크 기반의 지속적 학습 아키텍처인 Subnode-GWR를 제안하며, 인간형 로봇(_pepper_)이 신체 형태의 다양성에 대응하면서 신체 운동 피드백 중에 학습하고 적응할 수 있도록 한다. 이 방법은 기울기, 이동 및 신체 변화가 있는 상황에서도 평균 정확도 88%를 달성하여 온라인 성장과 일시적 기억을 통해 치명적 기억 상실을 효과적으로 완화한다.

ABSTRACT

In order to detect and correct physical exercises, a Grow-When-Required Network (GWR) with recurrent connections, episodic memory and a novel subnode mechanism is developed in order to learn spatiotemporal relationships of body movements and poses. Once an exercise is performed, the information of pose and movement per frame is stored in the GWR. For every frame, the current pose and motion pair is compared against a predicted output of the GWR, allowing for feedback not only on the pose but also on the velocity of the motion. In a practical scenario, a physical exercise is performed by an expert like a physiotherapist and then used as a reference for a humanoid robot like Pepper to give feedback on a patient's execution of the same exercise. This approach, however, comes with two challenges. First, the distance from the humanoid robot and the position of the user in the camera's view of the humanoid robot have to be considered by the GWR as well, requiring a robustness against the user's positioning in the field of view of the humanoid robot. Second, since both the pose and motion are dependent on the body measurements of the original performer, the expert's exercise cannot be easily used as a reference. This paper tackles the first challenge by designing an architecture that allows for tolerances in translation and rotations regarding the center of the field of view. For the second challenge, we allow the GWR to grow online on incremental data. For evaluation, we created a novel exercise dataset with virtual avatars called the Virtual-Squat dataset. Overall, we claim that our novel architecture based on the GWR can use a learned exercise reference for different body variations through continual online learning, while preventing catastrophic forgetting, enabling for an engaging long-term human-robot interaction with a humanoid robot.

연구 동기 및 목표

• 학습된 기준을 바탕으로 인간형 로봇이 신체 운동 기술에 실시간 피드백을 제공할 수 있도록 하는 것.
• 초기 재학습 없이 다양한 사용자 신체 형태에 맞게 운동 기준을 적응시키는 도전 과제를 해결하는 것.
• 동적인 환경에서 새로운 사용자 프로파일의 지속적 학습 중 치명적 기억 상실을 방지하는 것.
• 로봇의 시야 내에서 사용자의 이동 및 기울기가 시스템에 미치는 영향을 평가하는 것.
• 인간 참가자를 포함하지 않고도 운동 인식 시스템을 훈련하고 평가하기 위한 합성 데이터셋을 개발하는 것.

제안 방법

• Subnode-GWR는 다양한 신체 형태에 대한 증분적 성장과 향상된 기억 용량을 가능하게 하는 서브노드 메커니즘을 감마-GWR에 통합한다.
• GWR 모델 내의 순환 연결은 프레임 간 자세와 운동 속도의 시공간적 관계를 모델링한다.
• 일시적 기억은 프레임 수준의 자세와 운동 쌍을 저장하여 예측 출력과의 비교를 가능하게 하여 실시간 피드백을 제공한다.
• 실제 세계의 다양성을 시뮬레이션하기 위해 신체 치수가 다른 10개의 가상 아바타를 사용하여 새로운 합성 데이터셋인 Virtual-Squat을 구축하였다.
• 시스템은 실시간 자세 추정을 위해 OpenPose를 사용하고, 거리 측도(d_t,pose)를 적용하여 관절 위치의 이탈을 탐지한다.
• 서브노드 삽입을 통한 온라인 학습은 기존에 학습된 지식을 유지하면서 네트워크의 증분적 성장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 GWR 기반 아키텍처는 다양한 신체 형태에 대한 신체 운동의 다수의 변형을 학습하고 유지할 수 있는가?
• RQ2 사용자의 이동 및 기울기가 로봇의 시야 내에서 시스템에 얼마나 강건한가?
• RQ3 지속적 학습 중 새로운 사용자 프로필을 학습할 때 Subnode-GWR는 치명적 기억 상실을 어느 정도 완화하는가?
• RQ4 가상 아바타에서 생성된 합성 데이터는 실제 세계의 운동 피드백 시나리오로 일반화하기 위해 효과적으로 로봇을 훈련시킬 수 있는가?
• RQ5 왜곡에 대한 정확도와 안정성 측면에서 Subnode-GWR는 기준 GWR 변종보다 어떻게 성능을 발휘하는가?

주요 결과

• Subnode-GWR는 기울기, 이동 및 병합 왜곡을 포함한 모든 테스트 변형에서 평균 정확도 88%를 달성하였다.
• 5도 기울기 상황에서 정확도가 1.3% 감소하였으며(89.9%에서 88.6%로), 강력한 기울기 강건성을 보였다.
• 5cm 이동으로 정확도는 약간 증가하여 90.1%로 상승하였으며, 이는 모델이 위치 이동에 대해 저항력이 있음을 시사한다.
• 기울기와 이동의 병합 효과로 정확도는 83.5%로 감소하였으며, 상체에서 가장 높은 오차(77.2% 정확도)를 보였다.
• 시스템은 효과적인 지속적 학습을 보였으며, 다양한 아바타 간에 치명적 기억 상실 없이 높은 성능을 유지하였다.
• Virtual-Squat 데이터셋은 제어된 합성 조건에서 모델의 강건성과 일반화 능력을 신뢰성 있게 평가하는 데 기여하였다.