[논문 리뷰] Shared Control Based on Extended Lipschitz Analysis With Application to Human-Superlimb Collaboration

Hanjun Song, H. Harry Asada|arXiv (Cornell University)|2023. 09. 01.

Stroke Rehabilitation and Recovery인용 수 4

한 줄 요약

이 논문은 인간-초과지부 협업을 위한 데이터 기반 공유 제어 프레임워크를 제안하며, 확장된 리프시츠 분석을 사용하여 인간의 자발적 제어와 로봇의 반응적 제어 간의 작업을 정량적으로 할당한다. 저리프시츠 몫이 낮은 예측 가능한 운동 패턴을 식별하고, 숨겨진 마르코프 모델(Hidden Markov Models)에서 유도된 작업 모드 정보로 입력 공간을 보강함으로써, 예측 가능한 동작은 로봇에, 예측 불가능하고 즉각적인 운동(예: 왕복 나이프 자르기)은 인간에게 할당함으로써, 초과지부를 갖춘 이완 작업에서 효과적인 자율성-간섭 간 균형을 달성한다.

ABSTRACT

This paper presents a quantitative method to construct voluntary manual control and sensor-based reactive control in human-robot collaboration based on Lipschitz conditions. To collaborate with a human, the robot observes the human's motions and predicts a desired action. This predictor is constructed from data of human demonstrations observed through the robot's sensors. Analysis of demonstration data based on Lipschitz quotients evaluates a) whether the desired action is predictable and b) to what extent the action is predictable. If the quotients are low for all the input-output pairs of demonstration data, a predictor can be constructed with a smooth function. In dealing with human demonstration data, however, the Lipschitz quotients tend to be very high in some situations due to the discrepancy between the information that humans use and the one robots can obtain. This paper a) presents a method for seeking missing information or a new variable that can lower the Lipschitz quotients by adding the new variable to the input space, and b) constructs a human-robot shared control system based on the Lipschitz analysis. Those predictable situations are assigned to the robot's reactive control, while human voluntary control is assigned to those situations where the Lipschitz quotients are high even after the new variable is added. The latter situations are deemed unpredictable and are rendered to the human. This human-robot shared control method is applied to assist hemiplegic patients in a bimanual eating task with a Supernumerary Robotic Limb, which works in concert with an unaffected functional hand.

연구 동기 및 목표

• 인간-로봇 협업에서 인간과 로봇 간의 노동 분담을 정량적으로 결정하는 방법을 개발하는 것.
• 리프시츠 조건을 사용하여 입력-출력 관계의 혼란을 규명함으로써 인간의 예측 불가능한 운동에 대응하는 도전 과제를 해결하는 것.
• 리프시츠 몫을 감소시키는 데 기여하는 누락된 변수나 숨겨진 상태를 발견함으로써 인간의 시연 예측 가능성을 향상시키는 것.
• 예측 가능성 기반 가중치 합을 사용하여 자발적 제어와 반응적 제어를 공유 제어 프레임워크에 통합함으로써 인간의 부담과 로봇 간섭을 최소화하는 것.
• 실세계 응용 사례에서 방법을 검증하는 것: 초과지부 로봇을 사용하여 이완 환자에게 이완식사 작업을 보조하는 것.

제안 방법

• 인간 시범 데이터에서 리프시츠 몫을 계산하여 입력-출력 맵핑의 예측 가능성을 평가하며, 높은 몫은 비예측 가능하거나 혼란스러운 관계를 나타낸다.
• 숨겨진 마르코프 모델(HMM)을 사용하여 시범 데이터에서 작업 모드를 추론하고, 이를 입력 공간에 추가함으로써 혼란을 해결하고 리프시츠 몫을 감소시킨다.
• 작업 모드 정보를 추가한 후에도 리프시츠 몫이 높은 경우를 식별하여 예측 불가능한 것으로 간주하고 인간의 자발적 제어에 할당한다.
• 낮은 리프시츠 몫을 가진 데이터에는 반응적 제어를 적용하고, 높은 몫 사례에는 자발적 제어를 할당하며, 제어의 부드러운 통합을 위해 제어의 가중치 합을 사용한다.
• 리프시츠 몫의 임계값을 사용하여 로봇 자율성과 인간 간섭 간의 균형을 조정한다.
• 초과지부 로봇이 기능적 손을 사용하는 환자의 나이프를 잡고 협동하는 이완식사 작업에서 이 방법을 검증한다.

실험 결과

연구 질문

• RQ1 인간-로봇 협업에서 인간 운동의 예측 가능성을 정량화하기 위해 리프시츠 조건을 어떻게 확장할 수 있는가?
• RQ2 리프시츠 몫을 감소시키고 인간 시범의 예측 가능성을 향상시키기 위해 무엇이 누락되었거나 숨겨진 변수로 식별될 수 있는가?
• RQ3 예측 가능한 동작은 로봇의 반응적 제어에, 예측 불가능한 동작은 인간의 자발적 제어에 할당되는 공유 제어 시스템을 어떻게 설계할 수 있는가?
• RQ4 로봇 예측 정확도와 인간 제어 노력 사이의 균형은 무엇이며, 이를 리프시츠 임계값을 사용하여 어떻게 정량적으로 관리할 수 있는가?
• RQ5 이 방법은 간섭과 인지 부하를 최소화하면서 초과지부를 사용한 이완 환자 대상 이완식사와 같은 이완 작업에서 효과적으로 지원할 수 있는가?

주요 결과

• HMM에서 유도된 작업 모드 정보를 추가함으로써 많은 운동 패턴의 리프시츠 몫이 크게 감소하여 인간 시범의 예측 가능성이 향상되었다.
• 작업 모드 신호를 추가한 후에도 특히 왕복 나이프 자르기와 같은 운동은 여전히 매우 예측 불가능하여 자발적 제어에 할당하는 것이 타당함을 입증하였다.
• 리프시츠 상수 임계값을 낮출수록 반응적 제어의 평균 제곱 오차(RMSE)가 감소하여 예측 정확도가 향상됨을 확인하였다.
• 리프시츠 임계값을 낮출수록 자발적 제어의 노력이 증가하여 로봇 자율성과 인간 부담 간의 균형이 반영됨을 확인하였다.
• 이 방법은 인간의 자발적 제어가 예측 불가능한 상황에서 로봇의 반응적 제어가 간섭하지 않는 공유 제어 시스템을 성공적으로 구현하였다.
• 초과지부 로봇을 사용한 실세계 이완식사 작업에서 인간과 로봇 제어의 효과적인 통합을 입증하였으며, 이완 환자 지원에 기여하였다.