[논문 리뷰] Human-in-the-loop Robotic Manipulation Planning for Collaborative Assembly

Mohamed Raessa, Jimmy Chi Yin Chen외 2명|arXiv (Cornell University)|2019. 09. 25.

Robot Manipulation and Learning참고 문헌 39인용 수 4

한 줄 요약

이 논문은 인간이 참여하는 로봇 조립 계획 기법을 제안하며, 이는 이중 암 로봇이 제약 조건이 있는 운동 계획과 인체공학적 수거를 통해 옮기기 및 놓기 작업을 수행하고, 인간이 나사 조임 및 정렬과 같은 정밀 작업을 수행하는 공동 작업 캐비닛 조립을 대상으로 한다. 이 시스템은 물체의 방향과 로봇의 운동을 최적화하여 안전하고 편안한 협업을 실현함으로써 인간의 신체적 부담을 줄이고 효율성을 향상시킨다.

ABSTRACT

This paper develops a robotic manipulation planner for human-robot collaborative assembly. Unlike previous methods which study an independent and fully AI-equipped autonomous system, this paper explores the subtask distribution between a robot and a human and studies a human-in-the-loop robotic system for collaborative assembly. The system distributes the subtasks of an assembly to robots and humans by exploiting their advantages and avoiding their disadvantages. The robot in the system will work on pick-and-place tasks and provide workpieces to humans. The human collaborator will work on fine operations like aligning, fixing, screwing, etc. A constraint based incremental manipulation planning method is proposed to generate the motion for the robots. The performance of the proposed system is demonstrated by asking a human and the dual-arm robot to collaboratively assemble a cabinet. The results showed that the proposed system and planner are effective, efficient, and can assist humans in finishing the assembly task comfortably.

연구 동기 및 목표

• 조립 과정에서 정밀 조작 작업을 수행하는 데에 한계를 보이는 완전 자율 로봇의 문제점을 해결하기 위해.
• 반복적인 옮기기 및 놓기 작업을 로봇에 위임함으로써 노동 집약적인 조립 공정에서 인간의 신체적 부담을 줄이기 위해.
• 로봇의 운반 및 정렬 능력과 인간의 정밀 작업 능력을 고려해 하위 작업을 분담함으로써 협업 효율성을 향상시키기 위해.
• 로봇 운동 계획 및 수거 자세 선택에 인간의 인체공학을 통합함으로써 사용자 편안함과 안전성을 향상시키기 위해.
• 부드러운 손가락 접촉 제약 조건을 사용하여 얇고 재정렬 가능한 작업물을 안정적으로 조작할 수 있도록 하는 제약 기반 점진적 계획 방법 개발하기 위해.

제안 방법

• 얇은 보드와 같은 다양한 작업물을 다룰 수 있도록 평행 클램프와 진공 스푸드 도구를 장착한 이중 암 로봇을 사용한다.
• 실시간 작업물 식별 및 자세 추정을 위해 RGB 카메라와 AR 마커를 활용한다.
• 손가락의 연성 있는 접촉 제약 조건을 강제 적용하여 잡는 동안 및 재잡는 동안 미끄러짐을 방지하는 제약 기반 점진적 조작 계획 방법을 적용한다.
• 수거 자세를 인간의 자연스러운 자세와 수확 범위에 맞추어 로봇 운동 궤적을 최적화함으로써 인간의 신체적 스트레스를 최소화한다.
• 엔드 에프터에 힘 감지 센서(FT 센서)를 통합하여 수거 및 조립 과정 중 접촉력을 모니터링하고 안전한 조작을 보장한다.
• 로봇이 인간이 현재 작업을 완료할 동안 다음 작업물을 준비하는 워크플로우를 구현함으로써 지속적인 협업을 가능하게 한다.

실험 결과

연구 질문

• RQ1 로봇과 인간의 각각의 강점을 활용하기 위해 공동 조립의 하위 작업을 효과적으로 어떻게 분담할 수 있는가?
• RQ2 로봇 보조 수거 과정에서 얇고 재정렬 가능한 작업물을 안전하고 안정적으로 조작하기 위해 필요한 제약 조건과 계획 전략은 무엇인가?
• RQ3 로봇 운동 계획에 인간의 인체공학을 통합함으로써 공동 조립 과정에서 인간의 신체 부담이 얼마나 감소하는가?
• RQ4 제안된 인간-로봇 협업 시스템은 효율성과 사용자 편안함 측면에서 완전 자율 로봇 또는 인간 전용 조립 방식과 비교해 어떤가?
• RQ5 점진적이고 제약 기반의 운동 계획은 동적인 실세계 협업 환경에서 신뢰할 수 있고 안전한 조작을 가능하게 하는가?

주요 결과

• 제안된 시스템은 인간의 신체적 부담을 크게 줄였으며, 앞쪽 몸통을 숙이지 않게 하고, 이미 뒤집힌 최적의 자세로 보드를 제시함으로써 어깨 부담을 감소시켰다.
• 수거 자세의 개선으로 인간의 손을 뻗고 집는 동작이 더 편안해졌으며, 팔 움직임이 줄어들고 자연스러운 자세와의 일치도 향상되었다.
• 로봇이 준비 작업을 수행함으로써 인간의 유휴 시간이 증가하여 워크플로우의 연속성이 향상되고 작업 전환 피로가 감소했다.
• 제약 기반 운동 계획기법은 부드러운 손가락 접촉 제약 조건을 통해 얇은 보드의 안정적인 조작을 성공적으로 구현하여 재정렬 및 수거 과정 중에 미끄러짐을 방지했다.
• 실험 결과, 인간-로봇 협업 시스템은 편안함, 효율성, 작업 완료 속도 측면에서 인간 전용 및 로봇 전용 방식을 모두 능가했다.
• 제약된 작업 공간, 예를 들어 캐비닛 조립의 최종 단계에서 공간이 제한된 상황에서도 시스템은 견고한 성능을 보였다.