[논문 리뷰] Machine Learning and Social Robotics for Detecting Early Signs of Dementia

Patrik Jonell, Joseph R. Mendelson외 13명|arXiv (Cornell University)|2017. 09. 05.

Social Robot Interaction and HRI참고 문헌 24인용 수 5

한 줄 요약

이 논문은 기계 학습과 사회적 로봇 기술을 활용하여 표준화된 신경심리학적 검사와 비언어적 행동 분석을 통해 조기 치매 징후를 탐지하는 몸체화된 사회적 로봇 시스템인 EACare 프로젝트를 제시한다. 이 시스템은 임상의-환자 상호작용 데이터를 활용하여 빈도 높은 홈 기반 평가를 가능하게 하여 조기 진단을 향상시키고, 적응형 대화 및 다중 모odal 감지 기반으로 지속적인 인지 모니터링을 실현한다.

ABSTRACT

This paper presents the EACare project, an ambitious multi-disciplinary collaboration with the aim to develop an embodied system, capable of carrying out neuropsychological tests to detect early signs of dementia, e.g., due to Alzheimer's disease. The system will use methods from Machine Learning and Social Robotics, and be trained with examples of recorded clinician-patient interactions. The interaction will be developed using a participatory design approach. We describe the scope and method of the project, and report on a first Wizard of Oz prototype.

연구 동기 및 목표

• 반복적인 신경심리학적 검사를 통해 조기 치매 징후를 탐지할 수 있는 몸체화된 홈 기반 시스템을 개발하는 것.
• 희귀한 임상 방문 동안 놓칠 수 있는 미세하고 일시적인 인지 증상들을 포착하여 조기 진단을 향상시키는 것.
• 홈에서 정기적이고 자동화된 인지 평가 및 훈련을 가능하게 하여 예방적 조치를 지원하는 것.
• 시각, 언어의 억양, 정지와 같은 언어적 및 비언어적 행동 신호를 진단 추론에 통합하는 것.
• 확장 가능하고 사용자 우수한 시스템을 구축하여 풍부한 종단 간 데이터를 통해 임상의의 감독 능력을 향상시키는 것.

제안 방법

• 사용자 참여형 설계 접근법을 활용하여 적응형 대화 및 게임화 기법을 적용한 몸체화된 에이전트를 개발한다.
• 킨ect, 토비 가시 추적기, RGB-D 영상 등 다중 모달 감지 기술을 활용하여 표정, 시선, 신체 운동과 같은 비언어적 신호를 캡처한다.
• 생성형 확률적 딥 러닝 모델을 사용하여 인식된 비언어적 신호와 생성된 비언어적 신호를 기저의 인지 상태로 매핑한다.
• 진단 추론을 모델링하기 위해 기록된 임상의-환자 상호작용 데이터를 활용하여 언어적 및 비언어적 의사소통을 모두 포함한다.
• 임상 전문 지식과 논리적 추론을 모델에 통합하여 해석 가능성 향상과 데이터 요구량 감소를 도모한다.
• 상호작용 설계 평가 및 향후 자동화된 시스템 개발을 위한 데이터 수집을 위해 워즈더 오즈 프로토타입을 사용한다.

실험 결과

연구 질문

• RQ1 몸체화된 사회적 로봇 시스템은 어떻게 홈 환경에서 표준화된 신경심리학적 검사를 효과적으로 제공하여 조기 치매를 탐지할 수 있는가?
• RQ2 시선, 언어의 억양, 정지와 같은 비언어적 행동 신호 중에서 조기 치매 탐지에 가장 유용한 것은 무엇인가?
• RQ3 기계 학습 모델은 어떻게 다중 모달 비언어적 신호와 검사 성과를 통합하여 진단 정확도를 향상시킬 수 있는가?
• RQ4 노인 환자 또는 치매 위험이 있는 개인들 사이에서 장기적인 사용자 참여와 수용을 보장하기 위한 설계 원칙은 무엇인가?
• RQ5 임상 진단 추론은 어떻게 자동화된 시스템 구현을 위해 구조화되고 계산 가능한 스크립트로 형식화될 수 있는가?

주요 결과

• EACare 프로젝트는 향후 자동화된 배포를 위한 상호작용 설계 평가 및 데이터 수집을 목적으로 워즈더 오즈 프로토타입을 개발하였다.
• 시선, 언어 정지, 억양과 같은 비언어적 행동은 현대 센서 기술과 기계 학습 기법을 활용해 캡처하고 분석할 수 있는 핵심 진단 지표로 규명되었다.
• 생성형 확률적 딥 러닝 모델이 임상 지식 통합과 정확도 향상에 효과적이며, 훈련 데이터 요구량을 줄이는 데도 유용함이 입증되었다.
• 이 시스템은 빈도 높은 홈 기반 인지 평가를 가능하게 하여 일시적 또는 미세한 초기 증상 탐지 가능성을 높였다.
• 초기 결과에 따르면, 노인 사용자들은 유용하고 즐거운 것으로 인식되는 로봇 보조 시스템을 인지 테스트 및 일상 모니터링에 수용하는 경향이 있다.
• 프로젝트는 초기 설계 단계부터 사용자 참여가 기술 기반 포기 방지를 위해 필수적이며 장기적 시스템 수용을 보장하는 데 핵심적임을 밝혔다.