[논문 리뷰] Personalized Behaviour Models: A Survey Focusing on Autism Therapy Applications

Michał Stolarz, Alex Mitrevski외 2명|arXiv (Cornell University)|2022. 05. 18.

Autism Spectrum Disorder Research인용 수 4

한 줄 요약

이 종합 검토는 자폐성 장애(ASD)를 가진 어린이를 대상으로 한 로봇 보조 치료(RAT)에서 개인화된 행동 모델에 대한 포괄적인 분석을 제안하며, 지침과 피드백으로부터 학습하는 상호작용 기반 기계학습(IML) 기법에 중점을 두어 로봇이 개별 어린이의 행동에 자율적으로 적응할 수 있도록 한다. 주요 기여는 사회적 행동, 작업 난이도, 참여도 측면에서 개인화 접근법을 비교 평가한 것으로, 피드백으로부터 학습하는 방법과 하이브리드 학습이 실세계 자폐증 치료 응용 분야에서 가장 실현 가능하다고 밝혀졌으며, 빠른 수렴 속도와 전문가 감독에 대한 의존도 감소를 특징으로 한다.

ABSTRACT

Children with Autism Spectrum Disorder find robots easier to communicate with than humans. Thus, robots have been introduced in autism therapies. However, due to the environmental complexity, the used robots often have to be controlled manually. This is a significant drawback of such systems and it is required to make them more autonomous. In particular, the robot should interpret the child's state and continuously adapt its actions according to the behaviour of the child under therapy. This survey elaborates on different forms of personalized robot behaviour models. Various approaches from the field of Human-Robot Interaction, as well as Child-Robot Interaction, are discussed. The aim is to compare them in terms of their deficits, feasibility in real scenarios, and potential usability for autism-specific Robot-Assisted Therapy. The general challenge for algorithms based on which the robot learns proper interaction strategies during therapeutic games is to increase the robot's autonomy, thereby providing a basis for a robot's decision-making.

연구 동기 및 목표

• 자폐증 치료 응용 분야에서 인간-로봇 상호작용(HRI)의 개인화된 행동 모델을 분석하고 비교하기.
• 특히 피드백 및 지침으로부터의 학습 기법의 실생활 로봇 보조 치료(RAT) 시나리오에서의 실현 가능성과 사용성 평가하기.
• 장기 치료에서 자율적이고 적응형 로봇을 구현할 때 발생하는 주요 과제, 특히 인간 감독자 의존도, 정책 수렴 속도 저하, 사용자 간 일반화 문제 규명하기.
• 어린이의 이탈 또는 동기 상실을 실시간으로 감지하고 대응할 수 있는 자율적 로봇의 향후 개발을 안내하기.
• 빠른 수렴 속도를 갖춘 사전 훈련된 행동 모델을 개발하기 위한 향후 연구 방향 제안: 활성 학습과 하이브리드 학습(피드백 + 지침)을 통한 향상된 치료 성과 달성

제안 방법

• 18개의 대표적 HRI 분야에서 개인화된 로봇 행동 모델 연구를 분석하며, 개인화 측면(예: 사회적 행동, 작업 난이도)과 학습 방법(피드백 또는 지침으로부터의 학습)으로 분류.
• 각 접근법을 학습 알고리즘 유형(예: Q-학습, 베이지안 네트워크, 근접 이웃, 역강화학습), 사용된 특징(예: 참여도, 게임 진행도, 시선, 음성) 및 장기 운영(1주일 이상) 여부 기반으로 평가.
• 구조화된 비교 표(표 I)를 활용해 자율성, 감독자 실수에 대한 강건성, 수렴 속도, 사용자 간 일반화 능력 측면에서 기술 간 비교.
• 기존 접근법의 결함을 규명하고, 장기 테스트 부족, 전문가 감독 의존도, 느린 학습 등 문제점을 제기하며, 하이브리드 학습(피드백 + 지침)을 해결책으로 제안.
• HRI 문헌에서 기존 분류 체계(예: 사용자 모델 유형: 정적 대비 동적)를 활용해 분석 체계를 정의하고 자폐증 치료 적용 가능성 평가.
• 향후 연구로 활성 학습과 정책 사전 훈련을 활용해 개별 어린이의 능력 및 정서 상태에 빠르게 개인화된 적응을 이끌 수 있는 로봇 개발 제안.

실험 결과

연구 질문

• RQ1 자폐성 장애를 가진 어린이를 대상으로 한 로봇 보조 치료에서 실세계 구현에 가장 실현 가능한 개인화 기법은 무엇인가?
• RQ2 장기 치료 세션에서 피드백으로부터 학습하는 방법과 지침으로부터 학습하는 방법 간 강건성, 수렴 속도, 적응 가능성 측면에서의 비교는 어떻게 되는가?
• RQ3 자율적이고 개인화된 행동 모델을 자폐증 치료 로봇에 구현할 때 주요 과제는 무엇인가, 특히 감독자 의존도와 사용자 간 일반화 문제에 대해 설명하라.
• RQ4 피드백과 지침을 결합한 하이브리드 학습 접근법이 치료 로봇의 정책 학습 신뢰성과 속도를 향상시킬 수 있는가?
• RQ5 어떻게 개인화된 행동 모델을 설계하여 어린이의 이탈 또는 동기 상실을 실시간으로 감지하고 대응할 수 있는가?

주요 결과

• 장기적이고 실세계 자폐증 치료에 있어서 피드백으로부터 학습하는 것이 지침으로부터 학습하는 것보다 더 실현 가능하며, 인간 감독자 의존도를 줄이고 자율적 탐색을 가능하게 한다.
• 조사된 18개의 접근법 중 유일하게 3개만이 장기 운영(1주일 이상)을 입증하여, 개인화된 행동 모델의 실세계 검증에 큰 격차가 있음을 시사한다.
• 하이브리드 학습 접근법(예: 피드백과 지침의 조합)은 감독자 실수에 대한 강건성을 향상시키고 정책 수렴 속도를 가속화하는 것으로 밝혀졌으며, [27] 및 [41] 등의 연구에서 이를 입증했다.
• 자폐증 치료에서 가장 효과적인 개인화 차원은 사회적 행동과 작업 난이도이며, 특히 사회적 행동 개인화가 참여도 유지에 매우 큰 영향을 미친다.
• 모의 사용자 상호작용에 기반한 정책 사전 훈련은 실제 상호작용 횟수를 크게 줄여 정책 수렴에 필요한 시간을 절감할 수 있다. 이는 실세계 치료 환경에서 느린 학습 문제를 해결하는 데 기여한다.
• 역강화학습과 모델 기반 강화학습은 복잡한 사용자 선호도 및 정서 상태를 포착하는 데 잠재력이 있으며, 특징 엔지니어링의 정교함과 장기 시나리오에서의 검증 부족 외에는 아직 다소 미흡한 편이다.