[논문 리뷰] Programming by Demonstration with User-Specified Perceptual Landmarks

Justin Huang, Maya Çakmak|arXiv (Cornell University)|2016. 12. 02.

Robot Manipulation and Learning참고 문헌 22인용 수 3

한 줄 요약

이 논문은 비전문가 사용자가 포인트 클라우드 인터페이스를 통해 사용자 정의된 3차원 감지 지점(지표점)을 정의할 수 있도록 하는 유연하고 사용자 중심의 프로그래밍을 통한 학습(PbD)을 위한 인식 시스템을 소개한다. 사용자가 지정한 포인트 클라우드 패치(물체의 일부, 환경 특징 또는 빈 공간 포함)를 캡처함으로써, 수정된 ICP 알고리즘을 사용하여 빈 공간 제약 조건을 적용함으로써 새로운 환경에서 이러한 지표점을 안정적으로 국소화할 수 있으며, 사전에 존재하는 물체 모델이나 피넷리얼리티 마커가 필요 없이 다양한 비탁상 및 혼잡한 환경에서도 조작 작업의 일반화 능력을 크게 향상시킨다.

ABSTRACT

Programming by demonstration (PbD) is an effective technique for developing complex robot manipulation tasks, such as opening bottles or using human tools. In order for such tasks to generalize to new scenes, the robot needs to be able to perceive objects, object parts, or other task-relevant parts of the scene. Previous work has relied on rigid, task-specific perception systems for this purpose. This paper presents a flexible and open-ended perception system that lets users specify perceptual "landmarks" during the demonstration, by capturing parts of the point cloud from the demonstration scene. We present a method for localizing landmarks in new scenes and experimentally evaluate this method in a variety of settings. Then, we provide examples where user-specified landmarks are used together with PbD on a PR2 robot to perform several complex manipulation tasks. Finally, we present findings from a user evaluation of our landmark specification interface demonstrating its feasibility as an end-user tool.

연구 동기 및 목표

• 기존 PbD 프레임워크에서 탁상 또는 정돈된 환경에 국한되어 있는 고정된, 작업에 특화된 인식 시스템의 한계를 극복하기 위해, 지표점 유형과 일반화 능력에 제한을 두는 것.
• CAD 모델이나 피넷리얼리티 마커가 필요 없이, 물체의 일부, 환경 특징 또는 빈 공간과 같은 작업 관련 감지 지표점을 비전문가 사용자가 정의할 수 있도록 하기 위해.
• 새로운, 알려지지 않은 환경에서도 사용자가 정의한 지표점을 안정적으로 국소화할 수 있는 인식 시스템을 개발하기 위해.
• 초보자 사용자가 실제 조작 작업에서 사용 가능한 지표점 지정 인터페이스의 타당성을 평가하기 위해.
• 사용자 정의 지표점이 표준 탁상 설정을 초월하는 다양한 환경에서 복잡한 조작 작업(예: 선반에서 집기, 도구 사용)의 일반화를 가능하게 하는지 보여주기 위해.

제안 방법

• 사용자는 로봇의 센서 데이터에서 관심 영역을 선택할 수 있도록 6개 면을 조절할 수 있는 3차원 경계상자 인터페이스를 사용하여 3차원 포인트 클라우드 패치를 캡처함으로써 사용자 정의 지표점을 정의한다.
• 지표점은 표면 주변의 빈 공간(음의 공간)을 명시적으로 모델링한 3차원 포인트 클라우드로 표현되며, 이는 고유성과 국소화의 안정성을 향상시킨다.
• 수정된 반복 최소 거리(ICP) 알고리즘을 사용하여 사용자가 정의한 지표점 포인트 클라우드를 새로운 환경의 후보 영역에 정렬하며, 기하 제약 조건과 빈 공간을 통합하여 정확도를 향상시킨다.
• 알고리즘은 표면 기하학과 예상되는 빈 공간 양쪽 모두에서의 오차를 벌점 처리하면서 반복적인 가장 가까운 점 매칭을 수행함으로써, 모호하거나 혼잡한 환경에서의 분별력을 높인다.
• 로봇의 종단기구 자세를 국소화된 지표점에 대해 기록하는 PbD 파이프라인과 시스템이 통합되어, 새로운 환경에서의 작업 실행을 가능하게 한다.
• 비전문가 사용자를 대상으로 한 사용성 연구를 통해 지표점 정의에 소요된 시간을 측정하고, 질적 피드백을 통해 인터페이스의 한계를 식별한다.

실험 결과

연구 질문

• RQ1 표면 기하학과 빈 공간을 모두 고려하는 인식 알고리즘이 사용자가 지정한 감지 지표점을 새로운, 알려지지 않은 환경에서 신뢰성 있게 국소화할 수 있는가?
• RQ2 사용자 정의 지표점은 고정된 사전 정의된 인식 시스템에 비해 비탁상, 혼잡하거나 비표준 환경에서 PbD 기반 조작 작업의 일반화 능력을 어느 정도 향상시키는가?
• RQ3 비전문가 사용자에게 실제 PbD 시나리오에서 지표점 지정 인터페이스는 얼마나 타당한가? 그리고 작업 관련 지표점을 생성하는 과정에서 발생하는 사용성 문제는 무엇인가?
• RQ4 사용자 정의 지표점은 어떤 방식으로 기존에 작업에 특화된 인식 코드나 피넷리얼리티 마커가 필요로 하는 조작 작업을 가능하게 하는가?
• RQ5 센서의 시야 제한, 가림, 또는 지표점의 고유성 부족은 지표점 국소화 및 작업 실행의 안정성에 어떤 영향을 미치는가?

주요 결과

• 시스템은 다양한 환경, 비탁상 환경(선반, 문, 혼잡한 장면 포함)에서 16개 시나리오 중 14개에서 사용자가 지정한 지표점을 성공적으로 국소화했다.
• 지표점 표현에 빈 공간 모델링을 추가함으로써, 모호하거나 혼잡한 환경에서의 국소화 정확도가 크게 향상되었으며, 잘못된 검출(false positive) 수가 감소했다.
• 사용성 연구 결과, 초보자 사용자가 평균 1분 11초(SD = 42초) 만에 유효한 지표점을 정의할 수 있었으며, 모든 참가자가 최소 한 개 이상의 작업을 성공적으로 완료했다.
• 실패 사례는 주로 센서의 한계(예: 기울어진 표면에서의 부분적인 깊이 데이터) 또는 지표점의 모호성(예: 평평한 표면가 빈 공간로 오해됨)으로 인한 것으로, 시스템이 지표점의 고유성에 의존함을 시사했다.
• 선반에서 Bowls를 집는 것, 매달린 도구를 사용하는 것, 유사한 용기와 분리하는 것과 같은 작업들이 사용자 정의 지표점을 통해 성공적으로 수행되었으며, 이는 탁상 외부 환경으로의 일반화 능력을 입증했다.
• 경계상자 인터페이스는 작동 가능했지만 향상 가능성이 있음이 밝혀졌으며, 사용자들은 인터페이스의 인지 부담을 줄이기 위해 별도의 이동 조작 컨트롤이나 자동 초기 추정 기능을 요청했다.