[논문 리뷰] Machine Learning Meets Advanced Robotic Manipulation

Saeid Nahavandi, Roohallah Alizadehsani외 4명|arXiv (Cornell University)|2023. 09. 22.

Robot Manipulation and LearningEngineering인용 수 3

한 줄 요약

이 종합 검토는 산업, 헬스케어, 농업, 우주 및 군사 분야의 애플리케이션에서 고도의 로봇 조작을 위한 최신 기계학습(ML) 기법—특히 딥 강화학습, 암시 학습 및 시뮬레이션에서 실제 환경으로의 전이—를 검토한다. 이는 시뮬레이션을 넘어서 실제 적용 가능성을 고려한 복잡하고 안전하며 효율적인 조작 제어기 학습에 ML의 역할을 강조하면서도, 내성성, 실시간 인식 및 새로운 작업에 대한 일반화와 같은 핵심 과제를 밝혀낸다.

ABSTRACT

Automated industries lead to high quality production, lower manufacturing cost and better utilization of human resources. Robotic manipulator arms have major role in the automation process. However, for complex manipulation tasks, hard coding efficient and safe trajectories is challenging and time consuming. Machine learning methods have the potential to learn such controllers based on expert demonstrations. Despite promising advances, better approaches must be developed to improve safety, reliability, and efficiency of ML methods in both training and deployment phases. This survey aims to review cutting edge technologies and recent trends on ML methods applied to real-world manipulation tasks. After reviewing the related background on ML, the rest of the paper is devoted to ML applications in different domains such as industry, healthcare, agriculture, space, military, and search and rescue. The paper is closed with important research directions for future works.

연구 동기 및 목표

• 시뮬레이션을 넘어서 실제 적용 가능성을 고려한 로봇 조작을 위한 기계학습 기법의 최근 발전을 통합한다.
• 안전성, 신뢰성 및 센서 장애에 대한 내성성과 같은 문제를 포함해 ML 기반 제어기의 구현에 있어 핵심 과제를 규명한다.
• 산업, 헬스케어, 농업, 우주 및 군사 로봇 분야의 도메인 특화 응용 사례를 검토한다.
• 비전, 촉각 등 다중 모odal 인식 및 인간-로봇 협업을 통합하여 복잡한 조작 작업을 향상시키는 방법을 탐색한다.
• 동적인 환경에서 일반화, 전이 학습 및 적응 능력을 향상시키기 위한 핵심 연구 방향을 제시한다.

제안 방법

• 딥 강화학습(DRL), 암시 학습(IL), 시뮬레이션에서 실제 환경으로의 전이(Sim2Real)를 포함한 ML 기법에 대한 체계적 검토.
• 상태 공간 표현, 역학 모델링, 운동 기술 학습, 사전 조건 학습, 계층적 학습의 다섯 가지 형식화된 유형으로 조작 학습 문제를 분류.
• 객체 탐지, 그립 계획, 접촉 감지 등의 조작 작업에서 비전 기반 및 촉각 기반 인식 시스템의 분석.
• 학습된 메트릭을 사용한 데이터 기반 그립 합성 및 샘플링된 그립 후보에 대한 최적화 평가.
• 실시간 장면 이해, 객체 인식 및 시각적 추론이 필요한 인간-로봇 협업(HRC) 프레임워크의 검토.
• 안전 핵심 로봇 시스템의 딥 러닝 모델에서의 센서 장애 내성성 및 분포 외 입력(OOD) 탐지에 대한 조사.

실험 결과

연구 질문

• RQ1 기계학습 기법은 전문가의 시연나 환경 상호작용을 통해 어떻게 복잡한 조작 기술을 효과적으로 학습할 수 있는가?
• RQ2 현실 세계에 구현할 때 현재의 ML 기반 제어기의 주요 제약은 무엇이며, 특히 내성성과 안전성 측면에서 어떤가?
• RQ3 비전과 촉각을 포함한 다중 모달 인식은 비구조적 환경에서의 물체 조작을 어떻게 향상시킬 수 있는가?
• RQ4 시뮬레이션에서 실제 환경으로의 전이는 실제 훈련 비용을 줄이고 정책 배포를 가속화하는 데 어떤 역할을 하는가?
• RQ5 로봇은 어떻게 새로운 물체나 작업, 예를 들어 알 수 없는 물체를 집거나 액체의 부을 수 있는지 여부를 판단하는 데 일반화할 수 있는가?

주요 결과

• 암시 학습과 강화학습은 전문가의 시연를 통해 복잡한 조작 작업을 학습할 수 있게 하여 수동으로 설계된 궤적에 대한 의존도를 줄인다.
• 학습된 메트릭을 사용해 그립 후보를 순위 매기는 데이터 기반 그립 합성 방법은 전통적인 기하 기반 접근 방식을 능가하는 높은 성공률을 달성한다.
• 시뮬레이션에서 실제 환경으로의 전이 기법은 실제 훈련 시간과 비용을 크게 줄이지만, 도메인 랜덤라이제이션과 도메인 적응 기법이 여전히 핵심 과제로 남아 있다.
• 촉각 감지 기술은 접촉 감지 및 힘 제어를 향상시키지만, 로봇 손의 맹점으로 인해 물체의 전체 상태 추정이 제한된다.
• 분포 외(OOD) 센서 입력에 대한 내성성은 주요 열린 과제이며, 고장 난 센서는 안전 핵심 시스템에서 예측 불가능한 모델 행동을 유도할 수 있다.
• 실시간 시각적 장면 이해는 인간-로봇 협업에 도움이 되며, 로봇이 인간의 의도를 추론하고 다이나믹한 작업 환경에 적응할 수 있도록 한다.