[論文レビュー] Effective Human-AI Teams via Learned Natural Language Rules and Onboarding

Hussein Mozannar, Jimin J Lee+4 more|arXiv (Cornell University)|Nov 2, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、埋め込み空間内のデータ領域の自然言語記述として、人間とAIが協働すべき領域（人間がAIに依存すべき、無視すべき、協働すべき）を学習するフレームワーク、IntegrAIを提案する。このルールを用いたオンボーディングにより、ノイズの多い信号機画像を含む物体検出タスクで人間-AIチームの正確性が5.2%向上した。一方、質問応答タスクでは、人間とAIのパフォーマンスの差が大きく、事前に存在するLLMの説明があるため、単なる推奨事項では効果が得られなかった。

ABSTRACT

People are relying on AI agents to assist them with various tasks. The human must know when to rely on the agent, collaborate with the agent, or ignore its suggestions. In this work, we propose to learn rules, grounded in data regions and described in natural language, that illustrate how the human should collaborate with the AI. Our novel region discovery algorithm finds local regions in the data as neighborhoods in an embedding space where prior human behavior should be corrected. Each region is then described using a large language model in an iterative and contrastive procedure. We then teach these rules to the human via an onboarding stage. Through user studies on object detection and question-answering tasks, we show that our method can lead to more accurate human-AI teams. We also evaluate our region discovery and description algorithms separately.

研究の動機と目的

• 人間がAIに対する信頼感を誤って評価することで生じる非最適な人間-AI協働の課題に対処すること。
• 人間がAIに依存する、無視する、または協働するべきタイミングをタスク固有で解釈可能なルールとして学習する手法を開発すること。
• 自然言語を用いたオンボーディングプロセスにより、これらのルールを教えることで、人間-AIチームのパフォーマンスを向上させること。
• 学習済みルールを用いたオンボーディングが、AIの推奨事項のみに依存する場合よりも人間-AI協働を改善するかを評価すること。
• 人間-AIチームのパフォーマンスカードが協働中の意思決定を支援する役割を果たすかを調査すること。

提案手法

• 本手法は、マルチモodalな埋め込み空間（例：画像のCLIP、NLPのテキスト埋め込み）における局所的近傍を同定する新規な領域同定アルゴリズムを用いる。ここでは、人間の意思決定が最適なAI統合と乖離している領域を特定する。
• 各同定された領域は、対照的で反復的な手順で記述される：まず、LLMが領域内に存在するポイントを要約する。次に、埋め込み検索により類似および相違する例を取得し、記述を精緻化する。
• 最終的なルールは、領域の自然言語記述であり、正しいAI統合行動（依存、無視、協働）にラベル付けされている。
• オンボーディング段階では、構造化されたインターフェースを通じてユーザーにこれらのルールを教えることで、期待値の調整と意思決定の改善を図る。
• オンボーディング後、ダッシュボードにAI統合推奨事項を表示し、パフォーマンスへの影響をテストする。
• パフォーマンスは、オブジェクト検出とMMLUの質問応答タスクにおけるユーザースタディを用いて評価され、人間-AIチームの正確性が主な指標となる。

実験結果

リサーチクエスチョン

• RQ1 埋め込み空間内のデータ領域を自然言語で記述する学習済みルールは、人間-AIチームの正確性を向上させることができるか？
• RQ2 学習済みルールを用いたオンボーディングは、AIの説明や推奨事項のみに依存する場合よりも、より良いAI統合意思決定をもたらすか？
• RQ3 領域同定アルゴリズムは、現実のタスクにおいて意味的で行動的に関連のある領域を効果的に同定できるか？
• RQ4 LLMベースの対照的記述プロセスは、学習済みルールの解釈可能性と実用性をどの程度向上させるか？
• RQ5 高水準の人のパフォーマンスとAIのパフォーマンスの差があるにもかかわらず、オブジェクト検出タスクではオンボーディングがパフォーマンスを向上させるが、MMLUタスクでは向上しないのはなぜか？

主な発見

• ノイズの多い信号機画像を含むオブジェクト検出タスクにおいて、IntegrAIのルールを用いたオンボーディングにより、人間-AIチームの正確性が5.2%向上した。
• MMLUの質問応答タスクでは、オンボーディングに顕著な効果が認められなかった。これは、人間とAIのパフォーマンス差が大きく、GPT-3.5の説明が既に存在するためと考えられる。
• MMLUタスクにおいて、オンボーディング後にAI統合推奨事項を表示したところ、パフォーマンスが悪化した。これは、説明が既に存在する状況では推奨事項が効果を発揮しない可能性を示唆している。
• オンボーディング条件下の参加者は、ベースラインと比較してAIを9%多く利用した。これは、オンボーディングがユーザーの行動と信頼感の調整に成功したことを示している。
• 領域同定アルゴリズムは、特に複雑な視覚的タスクにおいて、人間の意思決定が非最適となる意味的で明確な局所的領域を効果的に同定できた。
• 対照的LLMベースの記述プロセスにより、画像の鮮明さや不確実性といった重要な意思決定要因を捉えた自然言語ルールが得られ、解釈可能性が向上した。