[논문 리뷰] Flexible human-robot cooperation models for assisted shop-floor tasks

Kourosh Darwish, Francesco Wanderlingh외 4명|arXiv (Cornell University)|2017. 07. 09.

Robot Manipulation and Learning인용 수 4

한 줄 요약

이 논문은 실시간 인간 동작 인식을 위한 웨어러블 센서, 협업 작업 계획을 모델링하기 위한 AND/OR 그래프, 그리고 동작 계획과 운동 제어를 분리하기 위한 작업 우선순위 제어 프레임워크를 활용하는 유연한 인간-로봇 협업 아키텍처인 FlexHRC를 제안한다. 이 시스템은 인간이 로봇의 제안에서 벗어나도 워크플로우가 방해받지 않도록 자연스럽고 적응형 협업을 가능하게 하며, 인간 활동 인식에서 10% 미만의 지연을 기록하고, 경로 재계획이 필요 없이 반응형 장애물 회피가 가능하다.

ABSTRACT

The Industry 4.0 paradigm emphasizes the crucial benefits that collaborative robots, i.e., robots able to work alongside and together with humans, could bring to the whole production process. In this context, an enabling technology yet unreached is the design of flexible robots able to deal at all levels with humans' intrinsic variability, which is not only a necessary element for a comfortable working experience for the person but also a precious capability for efficiently dealing with unexpected events. In this paper, a sensing, representation, planning and control architecture for flexible human-robot cooperation, referred to as FlexHRC, is proposed. FlexHRC relies on wearable sensors for human action recognition, AND/OR graphs for the representation of and reasoning upon cooperation models, and a Task Priority framework to decouple action planning from robot motion planning and control.

연구 동기 및 목표

• 산업 4.0 공장 환경에서 인간-로봇 협업의 유연성 부족 문제를 해결하기 위해, 고정된 작업 순서와 유연성 없는 로봇 반응으로 인해 작업자 편안함과 효율성이 저하되는 상황을 해결한다.
• 사전 정의된 로봇 계획에 얽매이지 않고도 작업자가 협업 중 자유롭게 동작를 선택할 수 있도록 하되, 목표 달성은 유지한다.
• 고수준의 동작 계획과 저수준의 운동 제어를 분리함으로써, 환경 변화(예: 장애물)에 대해 경로 재계획 없이도 반응적으로 대응할 수 있도록 한다.
• 이동 제약 없이 인간 동작을 지속적으로 모니터링할 수 있도록 웨어러블 센서를 활용해 비침습적이고 실시간의 동작 인식을 실현한다.
• 작업 공간의 불확실성이나 인간의 이탈에도 협업 효율성을 유지할 수 있는 혼합형 반응-사전 계획 아키텍처를 개발한다.

제안 방법

• 웨어러블 관성 센서(IMU)를 사용해 인간 운동 데이터를 캡처함으로써, 제약 없는 작업자 이동을 가능하게 하는 실시간 인간 동작 인식을 수행한다.
• AND/OR 그래프는 협업 모델을 표현하며, 작업 간 의존성, 대안, 조건을 포함하여 가능한 동작 순서에 대한 민첩한 추론을 가능하게 한다.
• 작업 우선순위 제어 프레임워크는 인간/로봇의 동작 계획과 로봇의 운동 계획 및 제어를 분리함으로써 각 레이어의 독립적 최적화를 허용한다.
• 반응형 제어 작업(예: 장애물 회피)은 제어 계층의 우선순위 작업으로 통합되어, 경로 재계획 없이도 실시간 반응이 가능하다.
• 혼합 정규분포 모델(GMMs)과 혼합 정규분포 회귀(GMRs)를 사용해 관성 센서 데이터로부터 인간의 제스처를 모델링하고 인식한다.
• 행동 인식, 협업 모델 추론, 운동 제어를 통합된 파이프라인으로 통합하여 인간의 선택과 환경 변화에 유연하게 적응할 수 있도록 보장한다.

실험 결과

연구 질문

• RQ1 어떻게 인간-로봇 협업을 유연하게 구성할 수 있을까? 특히, 로봇이 제안한 동작에서 벗어나도 협업 목표를 달성할 수 있도록 해야 한다.
• RQ2 웨어러블 센서를 통해 인간 동작 인식의 정확성과 저지연을 달성할 수 있을까? 이때 작업자의 이동 제약 없이도 가능할까?
• RQ3 작업 우선순위 제어 프레임워크는 불확실하거나 부분적으로 알려지지 않은 환경에서 고수준의 동작 계획과 저수준의 운동 제어를 효과적으로 분리할 수 있을까?
• RQ4 반응형 행동(예: 장애물 회피)의 통합은 전체 협업 시간과 시스템의 반응성에 어떤 영향을 미칠까?
• RQ5 AND/OR 그래프는 복잡한 대안적 협업 모델을 효과적으로 모델링할 수 있을까? 동시에 실시간 추론과 적응도 지원할 수 있을까?

주요 결과

• 웨어러블 센서를 활용한 인간 동작 인식은 평균적으로 약 1.2초의 지연을 유발하며, 이는 총 협업 시간(120초)의 10% 미만을 차지한다.
• 시스템은 동작 계획과 운동 제어를 성공적으로 분리하여, 경로 재계획 없이도 장애물 회피를 반응적으로 수행할 수 있도록 했다.
• 팔꿈치 관절 회피와 같은 장애물 회피 작업은 사전 정의된 기준 이내에서 완료되었으며, 활성화 함수가 최대값에 도달하지 않아 효과적이고 적시에 반응한 것으로 나타났다.
• 장애물이 존재하는 테스트에서 평균 협업 실행 시간은 안정적으로 유지되었으며, 인간 동작 시간(T_h)은 평균 54.76초, 로봇 동작 시간(T_r)은 44.96초, 동작 인식 지연 시간(T_ao)은 0.06초였다.
• 반응형 작업이 활성화되었을 때도 전체 협업 시간에 눈에 띄는 증가가 관찰되지 않아, 시스템의 동적 환경 대응 능력이 뛰어나다는 것을 입증했다.
• 작업자들은 자연스럽게 동작을 조정하여 인식 정확도를 향상시키며, 향후 온라인 학습 기반의 공동 적응 가능성에 대한 잠재력을 보였다.