[논문 리뷰] Learning Trajectory Preferences for Manipulators via Iterative Improvement

Ashesh Jain, Brian Wojcik외 2명|arXiv (Cornell University)|2013. 06. 26.

Machine Learning and Algorithms참고 문헌 49인용 수 57

한 줄 요약

이 논문은 로봇이 최적의 시연가 아닌, 현재 경로에 대한 약간의 개선 사항만 제안하는 반복적이고 점진적인 피드백을 통해 사용자 선호도를 학습할 수 있는 공동 활성 온라인 학습 프레임워크를 제안한다. 비록 약한 피드백만을 요구하지만, 알고리즘은 증명 가능한 낮은 회귀를 달성하고 고 자유도 조작자에서 새로운 슈퍼마켓 체크아웃 작업에 대해 잘 일반화된다.

ABSTRACT

We consider the problem of learning good trajectories for manipulation tasks. This is challenging because the criterion defining a good trajectory varies with users, tasks and environments. In this paper, we propose a co-active online learning framework for teaching robots the preferences of its users for object manipulation tasks. The key novelty of our approach lies in the type of feedback expected from the user: the human user does not need to demonstrate optimal trajectories as training data, but merely needs to iteratively provide trajectories that slightly improve over the trajectory currently proposed by the system. We argue that this co-active preference feedback can be more easily elicited from the user than demonstrations of optimal trajectories, which are often challenging and non-intuitive to provide on high degrees of freedom manipulators. Nevertheless, theoretical regret bounds of our algorithm match the asymptotic rates of optimal trajectory algorithms. We demonstrate the generalizability of our algorithm on a variety of grocery checkout tasks, for whom, the preferences were not only influenced by the object being manipulated but also by the surrounding environment.\footnote{For more details and a demonstration video, visit: \url{http://pr.cs.cornell.edu/coactive}}

연구 동기 및 목표

• 최적의 시연가 제공되기 어려운 고자유도 조작자 작업에서 사용자 맞춤형 경로 선호도를 학습하는 데 도전한다.
• 전통적인 시연로부터 학습(LfD)의 한계를 극복하기 위해 전체 최적 경로 시범 대신 점진적 피드백을 통해 사용자 부담을 줄인다.
• 로봇이 오직 약한, 최적화되지 않은 피드백만을 사용하여도 실시간으로 사용자 선호도를 학습할 수 있는 공동 활성 학습 프레임워크를 개발한다.
• 최적 경로 알고리즘의 성능과 동일한 수준의 회귀 한계를 도출함으로써 학습 성능에 대한 이론적 보장을 확보한다.
• 훈련 중에 직접 본 바가 없는 새로운 작업과 환경으로의 선호도 모델 일반화 능력을 입증한다.

제안 방법

• 로봇이 경로를 제안하고 사용자가 그보다 약간 향상된 버전을 제안하는 공동 활성 학습 프레임워크를 사용한다. 최적의 경로가 아닌, 현재 경로의 개선 사항만 제공한다.
• 로봇의 구성, 물체 간 관계, 시간적 행동(예: 급격한 가속도, 자세 안정성 등)을 포함한 구조적 특징 공간을 사용해 사용자 선호도를 모델링한다.
• 반복적 피드백 기반으로 경로에 대한 점수 함수를 학습하는 선호도 학습 알고리즘(TPP)을 적용하며, 사용자가 매번 개선을 제안할 때마다 모델을 온라인으로 업데이트한다.
• 끝단 기구의 안정성, 장애물과의 거리, 취약하거나 날카로운 물체 회피 등의 경로 특징을 사용하여 작업 특화 및 맥락 민감한 선호도를 포착한다.
• 재순서정렬(시뮬레이터를 통한)과 제로-G 운동감각 교육(로봇에서 직접 수행)의 두 가지 피드백 방식을 통합하여 다양한 사용자 상호작용 스타일을 지원한다.
• 알고리즘이 최적의 시범이 제공된 것과 동일한 渐진적 속도로 감소하는 회귀 한계를 유지함으로써 이론적으로 진정한 선호도 함수로 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 최적의 전체 시범 대신 점진적이고 최적화되지 않은 피드백만을 사용하여 로봇이 조작 경로에 대한 사용자 선호도를 학습할 수 있는가?
• RQ2 약한 피드백을 사용함에도 불구하고 제안된 공동 활성 학습 프레임워크가 최적 경로 학습 알고리즘과 유사한 회귀 한계를 달성하는가?
• RQ3 학습 중에 직접 경험하지 않은 새로운 작업과 환경으로의 선호도 모델 일반화 능력은 어느 정도인가?
• RQ4 재순서정렬과 제로-G 피드백의 조합이 실제 로봇 실험에서 사용자가 로봇을 효율적으로 훈련시키는 데 얼마나 효과적인가?
• RQ5 고자유도 조작자에서 물체의 특성(예: 취약성, 날카움)과 환경 제약(예: 인간과의 근접성)을 고려한 의미 있는 경로 선호도를 학습할 수 있는가?

주요 결과

• Baxter 로봇을 만족스러운 수준으로 훈련시키기 위해 사용자는 평균적으로 각 작업당 3회의 재순서정렬과 2회의 제로-G 피드백(평균 5.5분)을 기록했으며, 이는 실용적 타당성을 보여준다.
• 사용자가 단 5회의 피드백만으로도 Oracle-SVM 성능을 초월했고, 사용자 평가 척도(5점 척도)에서 경로 품질에 대해 평균 3.8~4.4점을 기록했다.
• 다양한 사용자 간 평균 점수는 3.2~4.0로 나타나 선호도가 사용자 간에 미미하게만 다름을 보이며, 이는 모델이 일관되고 일반화 가능한 선호도를 포착하고 있음을 시사한다.
• 알고리즘이 잘 일반화됨: 새로운 환경이나 새로운 물체가 있는 상황에서도 훈련되지 않은 MMP-online 및 TPP 모델이 Manual 및 노이즈가 있는 LfD 기반 기준 모델들을 모두 능가했다.
• 배치 실험에서 사전 훈련된 TPP 모델은 평균 nDCG@3가 0.85를 기록했으며, 다른 기준 모델들보다 뚜렷이 뛰어나고, 물체와 환경이 모두 변경된 상황에서도 강력한 일반화 성능을 보였다.
• TPP 알고리즘의 이론적 회귀 한계는 최적 알고리즘과 동일한 속도로 감소함을 증명하여, 약한 피드백이 점진적 학습 성능에 영향을 주지 않음을 입증한다.