[論文レビュー] Human-mediated Large Language Models for Robotic Intervention in Children with Autism Spectrum Disorders

Ruchik Mishra, Karla Conn Welch+1 more|arXiv (Cornell University)|Feb 1, 2024

Autism Spectrum Disorder Research被引用数 4

ひとこと要約

本稿では、GPT-2 + BARTパイプラインを用いて、自立的かつ自動的に共感力訓練のための社会的状況、質問、および選択肢を生成するスケーラブルなロボット支援療法を提案する。NAOロボットは刺激者、誘導者、強化者として機能し、人間評価およびBERTスコア評価により、GPT-2 + BARTパイプラインがGPT-2 + GPT-2よりも優れた質の高い、臨床的に適切なコンテンツを生成することが示された。

ABSTRACT

The robotic intervention for individuals with Autism Spectrum Disorder (ASD) has generally used pre-defined scripts to deliver verbal content during one-to-one therapy sessions. This practice restricts the use of robots to limited, pre-mediated instructional curricula. In this paper, we increase robot autonomy in one such robotic intervention for children with ASD by implementing perspective-taking teaching. Our approach uses large language models (LLM) to generate verbal content as texts and then deliver it to the child via robotic speech. In the proposed pipeline, we teach perspective-taking through which our robot takes up three roles: initiator, prompter, and reinforcer. We adopted the GPT-2 + BART pipelines to generate social situations, ask questions (as initiator), and give options (as prompter) when required. The robot encourages the child by giving positive reinforcement for correct answers (as a reinforcer). In addition to our technical contribution, we conducted ten-minute sessions with domain experts simulating an actual perspective teaching session, with the researcher acting as a child participant. These sessions validated our robotic intervention pipeline through surveys, including those from NASA TLX and GodSpeed. We used BERTScore to compare our GPT-2 + BART pipeline with an all GPT-2 and found the performance of the former to be better. Based on the responses by the domain experts, the robot session demonstrated higher performance with no additional increase in mental or physical demand, temporal demand, effort, or frustration compared to a no-robot session. We also concluded that the domain experts perceived the robot as ideally safe, likable, and reliable.

研究の動機と目的

• 大規模言語モデルを用いた自立的コンテンツ生成により、自閉症スペクトラム症候群（ASD）の子どもたちに対するロボット支援療法のスケーラビリティのギャップを解消すること。
• NAOという社会的ロボットを設計し、共感力療法のセッションにおいて刺激者、誘導者、強化者としての機能を果たすこと。
• 自動化された指標と専門家の人的評価の両方を用いて、ASDの子どもたち向けに生成された社会的状況および質問の質と臨床的妥当性を評価すること。
• GPT-2 + BARTとGPT-2 + GPT-2の2つのLLMパイプラインを比較し、治療的用途におけるテキスト生成の質と人間の受容性を評価すること。

提案手法

• SOCIALIQAデータセットを用いて、GPT-2を微調整し、非教師ありの社会的状況生成を実行する。
• 生成された文脈に基づき、2番目のLLM（BARTまたはGPT-2）を用いて質問および選択肢を生成する。
• 両モデルの損失関数を統合し、質問および選択肢生成を最適化することで、BERTスコアの向上を図る。
• T-SNEを用いて生成された社会的状況の意味的クラスタリングを可視化し、多様性と一貫性を評価する。
• 4名の臨床専門家を対象に人間評価を実施し、生成されたコンテンツの適切さを年齢適合性および正答の妥当性について0〜10のスケールで評価する。
• mnlimicrosoft/deberta-xlarge-mnliモデルを用いて、生成テキストの質を自動評価するためのBERTスコア（F1）を計算する。

Figure 1: NAO robot for teaching perspective-taking to children with ASD. Here ‘Ctx’ refers to the context describing a situation, ‘Q’ is the question based on that context and, A-C are the options consisting of a possible answer.

実験結果

リサーチクエスチョン

• RQ1 LLMパイプラインは、自閉症スペクトラム症候群（ASD）の子どもたちに共感力の学習を教えるために、社会的に適切で教育的関連性のある状況を自立的に生成できるか？
• RQ2 GPT-2 + BARTパイプラインとGPT-2 + GPT-2パイプラインの間で、療法セッション用の質問および選択肢の生成性能に差があるか？
• RQ3 ASD介入に熟達した専門家による評価において、LLMが生成した状況および質問は臨床的に適切とされるか？
• RQ4 BERTスコア指標は、生成テキストの質に関する人間評価とどの程度相関しているか？

主な発見

• GPT-2 + BARTパイプラインは、GPT-2 + GPT-2パイプラインよりも質問および選択肢生成において高いBERTスコアを達成しており、より自然な表現と関連性の高さが示された。
• 人間評価では、臨床的経験を持つ評価者間で強い一貫性（kappa = 0.68）が確認され、生成された状況の平均的適切さスコアは10点中6.8点であった。
• 選択肢に少なくとも1つの妥当な正答が含まれる割合は95%に達しており、正答の質に関する高い信頼性が示された。
• BARTベースのパイプラインは、BERTスコアおよび人間評価の両面でGPT-2ベースのパイプラインを上回り、文脈的に正確で教育的根拠のあるコンテンツを生成する優位性が確認された。
• T-SNE可視化により、生成された社会的状況が一貫性があり意味的に意味のあるクラスタを形成していることが確認され、モデルが多様な状況に一般化できる能力を有していることが裏付けられた。

Figure 2: Pipeline of how the robot acts as a stimulator, prompter, and reinforcer. The decisions as whether the response form the child is correct or incorrect is taken by a human evaluator. This pipeline is further described in Section IV .