[논문 리뷰] Alternative Modes of Interaction in Proximal Human-in-the-Loop Operation of Robots

Tathagata Chakraborti, Sarath Sreedharan외 2명|arXiv (Cornell University)|2017. 03. 27.

EEG and Brain-Computer Interfaces참고 문헌 16인용 수 28

한 줄 요약

이 논문은 실시간 허브로직적 의도 투영과 EEG 기반 정서적 피드백을 활용한 근접 협업 작업을 위한 개선된 인간-로봇 상호작용 시스템을 제안한다. AR 기반 시각적 통신과 실시간 뇌신호 모니터링을 융합함으로써 로봇은 인간의 고통을 최소화하도록 행동을 적응시키며, EEG 데이터에서 유도된 스트레스 신호를 사용한 부트스트랩 Q-학습을 통해 협업 성능을 향상시킨다.

ABSTRACT

Ambiguity and noise in natural language instructions create a significant barrier towards adopting autonomous systems into safety critical workflows involving humans and machines. In this paper, we propose to build on recent advances in electrophysiological monitoring methods and augmented reality technologies, to develop alternative modes of communication between humans and robots involved in large-scale proximal collaborative tasks. We will first introduce augmented reality techniques for projecting a robot's intentions to its human teammate, who can interact with these cues to engage in real-time collaborative plan execution with the robot. We will then look at how electroencephalographic (EEG) feedback can be used to monitor human response to both discrete events, as well as longer term affective states while execution of a plan. These signals can be used by a learning agent, a.k.a an affective robot, to modify its policy. We will present an end-to-end system capable of demonstrating these modalities of interaction. We hope that the proposed system will inspire research in augmenting human-robot interactions with alternative forms of communications in the interests of safety, productivity, and fluency of teaming, particularly in engineered settings such as the factory floor or the assembly line in the manufacturing industry where the use of such wearables can be enforced.

연구 동기 및 목표

• 안전이 중요한 구조화된 환경(예: 제조 공장)에서 인간-로봇 간 의사소통의 임피던스 불일치 문제를 해결하기 위해.
• 자연어를 직접적이고 시각적이며 생리적 피드백 메커니즘으로 대체함으로써 인간-로봇 상호작용의 모호성과 노이즈를 줄이기 위해.
• 협업 작업 수행 중 인간의 정서적 및 인지 상태를 반영하는 EEG 신호를 활용해 실시간으로 로봇 행동을 닫힌 루프 방식으로 적응시키기 위해.
• 공동 AR 투영과 정서적 피드백을 통해 원활하고 직관적인 협업을 지원하는 시스템을 개발하여 인간-로봇 팀워크의 안전성과 유창성을 향상시키기 위해.
• 인간이 참여하는 로봇 계획에서 EEG와 AR를 활용한 실시간 정책 적응의 타당성을 평가하기 위해.

제안 방법

• 로봇은 공동 작업 공간에 상호작용 가능한 홀로그램(예: 취급 기호)으로 자신의 의도를 투영하여 인간이 시선과 선택을 통해 직접 상호작용할 수 있도록 한다.
• 인간의 행동은 의도 신호로 해석되어 인간의 입력에 따라 로봇이 실시간으로 재계획할 수 있도록 한다.
• 뇌전도(EEG) 신호를 모니터링하여 이산 사건 반응(P300 등)과 지속적인 정서 상태(예: 고통 등)를 감지한다.
• 요소화된 상태 표현과 보상 형식화를 사용한 시뮬레이션된 BlocksWorld 환경에서 Q-학습 에이전트를 훈련시킨다. 이는 탑 쌓기 행동을 장려하고 인간이 선호하는 블록을 피하도록 유도한다.
• 시뮬레이션에서 얻은 초기 Q-값 표를 실제 세계 훈련에 부트스트랩 정책으로 사용하며, 인간의 스트레스 신호를 부정적 보상으로 통합한다.
• 시스템은 EEG 피드백을 학습 루프에 통합하여, 고통 수준이 높을 경우 인간의 부정적 정서를 유발하는 행동을 피하는 정책 업데이트를 유도한다.

실험 결과

연구 질문

• RQ1 로봇 의도의 홀로그램 투영은 근접 협업 상황에서 공통의 직관적 의사소통 수단으로 기능할 수 있는가?
• RQ2 로봇 작업 수행 중 인간의 정서 상태를 실시간으로 감지하는 데 EEG 신호를 효과적으로 활용할 수 있는가?
• RQ3 EEG에서 유도된 정서적 피드백을 실시간으로 로봇의 의사결정 정책을 형성하는 데 활용할 수 있는가?
• RQ4 시뮬레이션에서 유도된 정책으로부터의 부트스트랩이 인간이 참여하는 실세계 학습에서 수렴 속도를 얼마나 향상시키는가?
• RQ5 투영 인식 계획과 정서적 피드백이 함께 작용할 때 협업의 유창성은 얼마나 향상되고 인간의 스트레스는 얼마나 감소하는가?

주요 결과

• 로봇은 EEG에서 유도된 부정적 보상 신호를 기반으로 한 Q-학습을 통해 인간이 선호하는 특정 블록을 피하는 것을 학습하며 고통을 감소시켰다.
• 에이전트는 시뮬레이션에서 약 800회의 훈련 반복 내에 최적의 정책(목표를 5단계 내에 달성)으로 수렴하였다.
• 시뮬레이션에서 유도된 부트스트랩 Q-학습 정책을 사용함으로써 실제 세계 적응 단계에서 훈련 시간이 크게 단축되었다.
• 초기 결과로 로봇은 실시간 스트레스 신호에 기반해 새로운 정책를 탐색할 수 있었으며, 정서적 피드백 통합의 타당성이 입증되었다.
• 시스템은 AR 투영과 EEG 피드백이 인간-로봇 협업 향상을 위한 닫힌 루프 상호작용 메커니즘을 형성할 수 있음을 보여주었다.
• 초기 평가 결과, 사용자 숙련도가 높아질수록 시각적 투영의 가치가 감소할 수 있음을 시사하며, 적응형 인터페이스 설계의 필요성을 강조한다.