[論文レビュー] Leveraging Large Language Models in Human-Robot Interaction: A Critical Analysis of Potential and Pitfalls

Jesse Atuhurra|arXiv (Cornell University)|Mar 26, 2024

Robotics and Automated Systems被引用数 6

ひとこと要約

この論文は、最近の ACM/IEEE HRI の研究（2020–2023）をメタ分析し、大規模言語モデルが社会ロボットにどのように役立つか、潜在的な利益、関連するリスクを評価します。

ABSTRACT

The emergence of large language models (LLM) and, consequently, vision language models (VLM) has ignited new imaginations among robotics researchers. At this point, the range of applications to which LLM and VLM can be applied in human-robot interaction (HRI), particularly socially assistive robots (SARs), is unchartered territory. However, LLM and VLM present unprecedented opportunities and challenges for SAR integration. We aim to illuminate the opportunities and challenges when roboticists deploy LLM and VLM in SARs. First, we conducted a meta-study of more than 250 papers exploring 1) major robots in HRI research and 2) significant applications of SARs, emphasizing education, healthcare, and entertainment while addressing 3) societal norms and issues like trust, bias, and ethics that the robot developers must address. Then, we identified 4) critical components of a robot that LLM or VLM can replace while addressing the 5) benefits of integrating LLM into robot designs and the 6) risks involved. Finally, we outline a pathway for the responsible and effective adoption of LLM or VLM into SARs, and we close our discussion by offering caution regarding this deployment.

研究の動機と目的

• 2020年から2023年にかけてのHRI研究における社会ロボットでの大規模言語モデルの利用状況を評価する。
• LLM搭載の社会ロボットを可能にする普及しているロボット、適用分野、設計特徴を特定する。
• LLM対応のHRIに関連する社会的規範（信頼、倫理、偏見、認知、協働）を論じる。
• LLMによって置換可能なロボットの構成要素と設計への影響を評価する。
• 社会ロボット設計におけるLLMsの採用に伴うリスクと機会を概説する。

提案手法

• ACM/IEEE HRI会議の4年間の論文を体系的にメタ分析する。
• ロボットのタイプ、応用、および設計アプローチの記述的統合。
• 社会ロボットにおけるLLM対応アーキテクチャと構成要素の評価。
• LLMsに関連する社会規範とヒューマン-ロボット相互作用の特性について議論する。
• リスク（偏見、推論時間、データリーク）と機会（知識、推論、計画）を批判的に検討する。
• 将来のHRIシステムのためのLLMベースの設計上の考慮事項を提案する。

実験結果

リサーチクエスチョン

• RQ1 RQ1. HRI研究で普及しているロボットは何か？
• RQ2 RQ2. ソーシャルロボットは主にどのような用途で用いられるか？
• RQ3 RQ3. アプリケーションに適した設計特徴は何か？
• RQ4 RQ4. どのロボットの構成要素をLLMで置換できるか？
• RQ5 RQ5. ソーシャルロボット設計におけるLLM採用に伴う機会とリスクは何か？

主な発見

• NaoとPepperはHRI研究で最も頻繁に使用されるロボットの一つである。
• ソーシャルロボットは医療、教育、エンターテインメント、ホスピタリティ、テレプレゼンスの各分野に適用されている。
• LLMsはソーシャルロボットのコアNLPモジュール（ASR、ユーザー意図検出、対話管理、TTS）を置換できる可能性があり、統一されたアーキテクチャを可能にする。
• 信頼、丁寧さ、人格、性別の配慮は、安全なHRIのためにLLMsに組み込むべき重要な社会的規範である。
• リスクには偏見や固定観念、巨大モデルの長い推論時間、閉源LLMサービスからのデータ漏洩が含まれる。
• LLMsは膨大な知識の活用、事実に基づく推論、HRIにおける計画の改善という機会をもたらす。