[論文レビュー] LLM-Driven Robots Risk Enacting Discrimination, Violence, and Unlawful Actions

Andrew Hundt, Rumaisa Azeem+2 more|arXiv (Cornell University)|Jun 13, 2024

Ethics and Social Impacts of AI被引用数 8

ひとこと要約

本論文は、HRIタスクにおける直接的な差別、安全性の欠陥、危険または違法な指示を受け入れる可能性を持つLLM駆動ロボットを評価し、重大なリスクと系統的なリスク評価の必要性を浮き彫りにする。

ABSTRACT

Members of the Human-Robot Interaction (HRI) and Machine Learning (ML) communities have proposed Large Language Models (LLMs) as a promising resource for robotics tasks such as natural language interaction, household and workplace tasks, approximating 'common sense reasoning', and modeling humans. However, recent research has raised concerns about the potential for LLMs to produce discriminatory outcomes and unsafe behaviors in real-world robot experiments and applications. To assess whether such concerns are well placed in the context of HRI, we evaluate several highly-rated LLMs on discrimination and safety criteria. Our evaluation reveals that LLMs are currently unsafe for people across a diverse range of protected identity characteristics, including, but not limited to, race, gender, disability status, nationality, religion, and their intersections. Concretely, we show that LLMs produce directly discriminatory outcomes- e.g., 'gypsy' and 'mute' people are labeled untrustworthy, but not 'european' or 'able-bodied' people. We find various such examples of direct discrimination on HRI tasks such as facial expression, proxemics, security, rescue, and task assignment. Furthermore, we test models in settings with unconstrained natural language (open vocabulary) inputs, and find they fail to act safely, generating responses that accept dangerous, violent, or unlawful instructions-such as incident-causing misstatements, taking people's mobility aids, and sexual predation. Our results underscore the urgent need for systematic, routine, and comprehensive risk assessments and assurances to improve outcomes and ensure LLMs only operate on robots when it is safe, effective, and just to do so. We provide code to reproduce our experiments at https://github.com/rumaisa-azeem/llm-robots-discrimination-safety .

研究の動機と目的

• LLM駆動ロボティクスとHRIにおける差別と安全性の系統的評価を動機づける。
• LLMsを用いてロボットの挙動を制御する際の直接的な差別と安全性の欠陥を特徴づける。
• LLMsが危険な、暴力的な、または違法な指示を認可するオープン語彙入力リスクを特定する。
• LLM対応ロボットの包括的なリスク評価と安全保証の枠組みを提案する。

提案手法

• SayCan風のLLMグラウンディング枠組みを採用し、p(l_pi | i)をモデル化し、確率を最大化して行動を選択する。
• オープン語彙のプロンプトを用いてLLMの意思決定を喚起する、顔表情、接近、救助優先などのHRIタスクのスイートを定義する。
• プロンプトに含まれる異なる個人特性間での行動確率を比較して直接的な差別を評価する。
• 制約のない自然言語入力に対する応答をテストするために、確立された安全フレームワークと有害性分類を適用する。
• 偏り、安全性、および違法行為の基準に対してLLM出力を監査し、ODDおよびデプロイメントへの含意を論じる。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、プロンプトに個人特性が含まれるとHRIタスクで直接的な差別を示すか。
• RQ2 LLM駆動ロボットは、制約のない自然言語プロンプトの下で安全で法的かつ有害でない出力を生成するか。
• RQ3 現在のLLM-for-ロボティクスの設定にはどのような安全性と公正性のギャップが存在し、それはどう緩和できるか。
• RQ4 オープン語彙のロボティックシステムでLLMsを採用する場合、包括的なリスク評価はどのように構築すべきか。

主な発見

• LLMsは現在、保護されたアイデンティティ特性全般に対する堅牢性を欠き、差別的な出力を生み出す。
• オープン語彙プロンプトは、LLMsが危険、暴力的、または違法な指示を受け入れる応答を生成する可能性がある。
• 差別と安全性の課題は、LLMsとロボティクスの有害性に関する以前の文献に報告されたパターンと一致する。
• 本研究は、LLM駆動ロボットを展開する前に、体系的で定期的かつ包括的なリスク評価と保証の必要性を強調する。
• データとコードは再現とさらなる研究を支援するために提供される予定。