[논문 리뷰] Learning Visually Guided Latent Actions for Assistive Teleoperation

Siddharth Karamcheti, Albert J. Zhai외 2명|arXiv (Cornell University)|2021. 05. 02.

Robot Manipulation and Learning참고 문헌 25인용 수 7

한 줄 요약

이 논문은 사전 훈련된 객체 검출기에서 제공하는 시각적 맥락을 조건으로 삼아 학습된 잠재 동작에 기반한 시각적 유도 잠재 동작 프레임워크를 제안한다. 이는 고도의 자유도를 가진 보조 로봇을 직관적이고 저차원적인 입력으로 제어할 수 있도록 한다. YOLO-v5를 사용해 객체의 정체성과 위치를 인코딩함으로써, 새로운 객체와 작업에 대해 적은 샘플 수로도 강력한 일반화 성능을 달성하며, 실제 사용자 실험에서 성공률과 사용자 선호도 면에서 기준 전략을 크게 능가한다.

ABSTRACT

It is challenging for humans -- particularly those living with physical disabilities -- to control high-dimensional, dexterous robots. Prior work explores learning embedding functions that map a human's low-dimensional inputs (e.g., via a joystick) to complex, high-dimensional robot actions for assistive teleoperation; however, a central problem is that there are many more high-dimensional actions than available low-dimensional inputs. To extract the correct action and maximally assist their human controller, robots must reason over their context: for example, pressing a joystick down when interacting with a coffee cup indicates a different action than when interacting with knife. In this work, we develop assistive robots that condition their latent embeddings on visual inputs. We explore a spectrum of visual encoders and show that incorporating object detectors pretrained on small amounts of cheap, easy-to-collect structured data enables i) accurately and robustly recognizing the current context and ii) generalizing control embeddings to new objects and tasks. In user studies with a high-dimensional physical robot arm, participants leverage this approach to perform new tasks with unseen objects. Our results indicate that structured visual representations improve few-shot performance and are subjectively preferred by users.

연구 동기 및 목표

• 고차원적이고 민감한 로봇 팔을 저차원 입력으로 제어하는 데 도전하는 데 초점하며, 특히 신체적 장애가 있는 사용자를 위한 제어를 목표로 한다.
• 학습된 잠재 동작 임베딩에 시각적 맥락을 통합하여 보조 원격 제어의 일반화 능력과 강건성을 향상시키는 것.
• 종료 없는 시각적 인코딩 또는 시각적 입력 없음과 비교하여, 특히 객체 검출 출력과 같은 구조화된 시각적 표현이 얼마나 효과적인지 평가하는 것.
• 새로운 객체와 작업이 포함된 실제 원격 제어 시나리오에서 사용자 선호도와 성능을 평가하는 것.

제안 방법

• 1-DoF 조이스틱 입력을 7-DoF 로봇 동작으로 매핑하는 조건부 변동형 오토인코더(CAE)를 훈련하며, 이는 시각적 상태 표현에 조건을 부여한다.
• 시각적 상태 표현은 각 객체 클래스당 약 75~100장의 주석이 달린 이미지로 구성된 소규모 비용이 저렴한 데이터셋에 사전 훈련된 YOLO-v5 객체 검출기를 사용해 생성된다.
• 시스템은 각 에피소드당 단일 프레임의 시각적 인코딩을 사용하며, 실시간 추론 루프를 피하여 저지연 제어를 유지한다.
• 시각 인코더는 1차원 잠재 공간에서 전체 7-DoF 동작으로 복원하는 잠재 동작 모델에 통합되어 직관적인 원격 제어를 가능하게 한다.
• 단지 3개의 예시만으로도 새로운 객체에 대해 학습된 임베딩을 일반화함으로써 소수의 샘플에 대한 적응을 지원한다.
• 사용자 실험은 세 가지 제어 전략을 비교한다: 종단 제어, 위치 기반 전용(오라클 분류), YOLO-v5 기반의 구조화된 시각적 표현.

실험 결과

연구 질문

• RQ1 객체 검출기에서 유도된 구조화된 시각적 표현이 잠재 동작 기반 원격 제어에서 소수의 샘플에 대한 일반화를 향상시킬 수 있는가?
• RQ2 시각적 맥락을 통합함으로써 사용자 성능와 주관적 선호도는 보조 로봇 제어에서 어떻게 영향을 받는가?
• RQ3 사전 훈련된 객체 검출기가 최소한의 주석 데이터로도 강력하고 정확한 맥락 인식을 가능하게 하는가?
• RQ4 실제 환경에서 검출기 기반의 잠재 동작 모델이 종료 없는 시각적 모델이나 시각적 입력 없음과 비교해 성능는 어떠한가?
• RQ5 시각적 맥락에 의해 안내될 때 사용자가 1D 조이스틱을 사용해 고도의 자유도를 가진 로봇을 얼마나 직관적으로 제어할 수 있는가?

주요 결과

• YOLO-v5 기반의 구조화된 시각적 표현은 기본 작업에서 100%의 성공률를 기록했으며, 위치 기반 전용 기준 전략보다 뚜렷이 뛰어나, 소수의 샘플 작업 중 3개에서 실패한 바 있다.
• YOLO-v5 모델은 단지 3개의 예시만으로도 새로운 객체에서 90%의 성공률를 달성하여 강력한 소수의 샘플 일반화 능력을 입증했다.
• 사용자들은 YOLO-v5 전략을 훨씬 더 직관적이고 자연스럽고 도움이 된다고 평가했으며, 참가자 100%가 재사용할 것이라고 밝혔다.
• 종단 제어 전략은 볼 수 있는 작업에서는 높은 성공률를 기록했지만, 끊어진, 비자연스러운 움직임을 유도했으며, 사용성과 직관성 면에서 낮은 평가를 받았다.
• 위치 기반 전용 기준 전략은 시험의 50%에서 객체를 정확히 위치 파악하지 못해 정밀한 객체 상호작용이 필요한 작업에서 0%의 성공률를 기록했다.
• 궤적의 시각적 점검 결과, YOLO-v5는 부드럽고 인간 같은 움직임을 생성한 반면, 종단 제어는 블록처럼 비직관적인 움직임을 유도했다.