[논문 리뷰] Human-mediated Large Language Models for Robotic Intervention in Children with Autism Spectrum Disorders

Ruchik Mishra, Karla Conn Welch외 1명|arXiv (Cornell University)|2024. 02. 01.

Autism Spectrum Disorder Research인용 수 4

한 줄 요약

이 논문은 GPT-2 + BART 파이프라인을 사용하여 자폐성 장애(ASD)를 가진 어린이들을 위한 사회적 상황, 질문 및 다중 선택지 자동 생성을 통해 확장 가능한 로봇 간병 기법을 제안한다. NAO 로봇은 자극자, 유도자, 보상자로 기능하며, 인간 평가 및 BERTscore 분석 결과, GPT-2 + BART 파이프라인이 GPT-2 + GPT-2보다 더 높은 품질의 임상적으로 적절한 콘텐츠를 생성하는 것으로 나타났다.

ABSTRACT

The robotic intervention for individuals with Autism Spectrum Disorder (ASD) has generally used pre-defined scripts to deliver verbal content during one-to-one therapy sessions. This practice restricts the use of robots to limited, pre-mediated instructional curricula. In this paper, we increase robot autonomy in one such robotic intervention for children with ASD by implementing perspective-taking teaching. Our approach uses large language models (LLM) to generate verbal content as texts and then deliver it to the child via robotic speech. In the proposed pipeline, we teach perspective-taking through which our robot takes up three roles: initiator, prompter, and reinforcer. We adopted the GPT-2 + BART pipelines to generate social situations, ask questions (as initiator), and give options (as prompter) when required. The robot encourages the child by giving positive reinforcement for correct answers (as a reinforcer). In addition to our technical contribution, we conducted ten-minute sessions with domain experts simulating an actual perspective teaching session, with the researcher acting as a child participant. These sessions validated our robotic intervention pipeline through surveys, including those from NASA TLX and GodSpeed. We used BERTScore to compare our GPT-2 + BART pipeline with an all GPT-2 and found the performance of the former to be better. Based on the responses by the domain experts, the robot session demonstrated higher performance with no additional increase in mental or physical demand, temporal demand, effort, or frustration compared to a no-robot session. We also concluded that the domain experts perceived the robot as ideally safe, likable, and reliable.

연구 동기 및 목표

• 확장 가능한 대규모 언어 모델 기반 간병 기법을 통해 자폐성 장애(ASD)를 가진 어린이들을 위한 로봇 간병의 스케일러비리티 격차를 해소하고, 대규모 언어 모델을 활용한 자율적 콘텐츠 생성을 가능하게 한다.
• NAO와 같은 사회적 로봇이 시각적 인식 치료 세션에서 자극자, 유도자, 보상자로 기능하도록 설계한다.
• 자동화된 메트릭스와 전문가 인간 평가를 병행하여, 자폐성 장애를 가진 어린이들을 대상으로 한 LLM 기반 사회적 상황 및 질문의 품질과 임상적 적절성을 평가한다.
• 치료적 활용을 위한 텍스트 생성 품질과 인간 수용성 측면에서 GPT-2 + BART 및 GPT-2 + GPT-2 두 가지 LLM 파이프라인 간 성능을 비교한다.

제안 방법

• SOCIALIQA 데이터셋을 사용하여 GPT-2를 미세조정하여 비지도 방식의 사회적 상황 생성을 수행한다.
• 생성된 맥락을 바탕으로 두 번째 언어 모델(BART 또는 GPT-2)을 사용해 질문 및 다중 선택지를 생성한다.
• 두 모델의 손실 함수를 통합하여 질문 및 선택지 생성을 최적화하고, BERTscore 성능 향상을 도모한다.
• T-SNE를 활용해 생성된 사회적 상황의 의미적 군집화를 시각화하여 다양성과 일관성을 평가한다.
• 네 명의 임상 전문가를 대상으로 인간 평가를 실시하여, 연령 적합성 및 정답 타당성 기준으로 생성된 콘텐츠의 적절성을 0~10점 척도로 평가한다.
• mnlimicrosoft/deberta-xlarge-mnli 모델을 사용해 생성된 텍스트 품질을 자동 평가하기 위해 BERTscore(F1)를 계산한다.

Figure 1: NAO robot for teaching perspective-taking to children with ASD. Here ‘Ctx’ refers to the context describing a situation, ‘Q’ is the question based on that context and, A-C are the options consisting of a possible answer.

실험 결과

연구 질문

• RQ1 LLM 파이프라인이 자폐성 장애(ASD)를 가진 어린이들에게 시각적 인식을 가르치기 위한 사회적으로 적절하고 교육적으로 관련성이 있는 상황을 자율적으로 생성할 수 있는가?
• RQ2 GPT-2 + BART 파이프라인이 GPT-2 + GPT-2 파이프라인보다 치료 세션의 질문 및 선택지 생성에서 성능이 뛰어난가?
• RQ3 LLM 기반으로 생성된 상황 및 질문들이 자폐성 장애 간병에 익숙한 전문가들에 의해 임상적으로 적절하다고 평가되는가?
• RQ4 BERTscore 메트릭스가 생성된 텍스트 품질에 대한 인간 평가와 얼마나 높은 상관관계를 가지는가?

주요 결과

• GPT-2 + BART 파이프라인이 GPT-2 + GPT-2 파이프라인보다 질문 및 선택지 생성에서 더 높은 BERTscore를 기록하여 유창성과 관련성 측면에서 뛰어난 성능을 보였다.
• 인간 평가 결과, 임상 경험이 있는 평가자 간의 일致도가 높았으며(카파 = 0.68), 생성된 상황의 평균 적절성 점수는 10점 만점에 6.8점이었다.
• 선택지에 최소한 하나의 유효한 정답이 포함된 비율이 95%로 나타나 정답 품질의 높은 신뢰성을 보였다.
• BART 기반 파이프라인이 BERTscore 및 인간 평가 모두에서 GPT-2 기반 파이프라인을 능가하여, 맥락적으로 정확하고 교육적으로 타당한 콘텐츠 생성 측면에서 뛰어난 성능을 입증했다.
• T-SNE 시각화 결과 생성된 사회적 상황들이 일관되고 의미적으로 유의미한 군집을 형성함을 확인하여, 모델이 다양한 상황에 대해 일반화할 수 있는 능력을 지녔음을 뒷받침했다.

Figure 2: Pipeline of how the robot acts as a stimulator, prompter, and reinforcer. The decisions as whether the response form the child is correct or incorrect is taken by a human evaluator. This pipeline is further described in Section IV .