[論文レビュー] Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance

Kaitlyn Zhou, Jena D. Hwang+4 more|arXiv (Cornell University)|Jul 10, 2024

Complex Systems and Decision MakingDecision Sciences被引用数 3

ひとこと要約

本稿では、動的相互作用文脈内での認識的マーカー（例：'私はそれが…だと思う'）の分析を通じて、人間が言語モデル（LM）の出力にどれほど依存しているかを測定する、イン・サイトでシステムレベルの評価フレームワークであるRel-A.I.を紹介する。この研究では、相互作用要因（例：過去の相互作用、人間的擬似表現、主題分野）が依存度に顕著な影響を与えることが明らかになった。同一の表現に対しても、文脈によって依存頻度に最大20%の変動が生じ、言語的自信のみが依存を決定すると仮定する考え方が揺るがされることになった。

ABSTRACT

The ability to communicate uncertainty, risk, and limitation is crucial for the safety of large language models. However, current evaluations of these abilities rely on simple calibration, asking whether the language generated by the model matches appropriate probabilities. Instead, evaluation of this aspect of LLM communication should focus on the behaviors of their human interlocutors: how much do they rely on what the LLM says? Here we introduce an interaction-centered evaluation framework called Rel-A.I. (pronounced "rely"}) that measures whether humans rely on LLM generations. We use this framework to study how reliance is affected by contextual features of the interaction (e.g, the knowledge domain that is being discussed), or the use of greetings communicating warmth or competence (e.g., "I'm happy to help!"). We find that contextual characteristics significantly affect human reliance behavior. For example, people rely 10% more on LMs when responding to questions involving calculations and rely 30% more on LMs that are perceived as more competent. Our results show that calibration and language quality alone are insufficient in evaluating the risks of human-LM interactions, and illustrate the need to consider features of the interactional context.

研究の動機と目的

• 言語的自信以外の要因に加え、相互作用的文脈が人間の言語モデルへの依存にどのように影響するかを理解するというギャップを埋める。
• 実際の人間-LM相互作用の過程で、依存行動をイン・サイトで捉えるシステムレベルの評価手法を開発する。
• 過去の相互作用、モデルのキャラクター（温かさ）、主題分野といった要因が、依存意思決定に与える影響を調査する。
• 研究者や開発者が、言語モデルの公的導入の前段階で、依存度を評価できる実装可能な手法を提供する。
• 言語的自信のみが依存を決定すると仮定する考え方に挑戦し、人間-AI相互作用における文脈的・関係的要因の重要性を強調する。

提案手法

• ユーザーが自然な複数ターンの相互作用を通じてLMと対話する自己インcentivizedタスク設計を採用し、リアルタイムでの依存度を測定する。
• LMの出力に含まれる認識的マーカー（例：'私は信じる'、'多分'、'疑いなく'）を特定・追跡し、自信や不確実性の指標とする。
• AIエージェントの「温かさ」と「能力」の自己認識を評価するメタレベルの質問を組み込み、人間的擬似表現の影響を捉える。
• 長期的相互作用、人間的擬似表現の生成、変動する主題分野の3つの相互作用設定で依存度を評価する。
• 依存度は、ユーザーが自身の応答においてLMが出力した認識的マーカーをどれだけ採用・模倣するかの頻度として測定する。
• 本フレームワークは、後から得られる自己報告や合成された自信のラベルに依存せずに、イン・サイトでシステムレベルの依存度測定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 言語モデルとの過去の相互作用が、自信レベルが異なる状況において、人間のその出力への依存にどのように影響するか。
• RQ2 言語モデルの「温かさ」や人間的擬似キャラクターが、人間のその応答への依存にどの程度影響を及えるか。
• RQ3 会話の主題分野（例：哲学、法律、宗教）が、LMが出力する認識的マーカーへの依存にどのように影響するか。
• RQ4 同じ中程度の自信表現（'私はかなり確信しています…'）が、相互作用の文脈によって異なる依存率を示すか。
• RQ5 モデルの一貫性や認識された性格といった文脈的特徴が、言語的自信とどのように相互作用し、依存行動を形作るか。

主な発見

• 同じ認識的マーカー表現に対しても、過去のモデル行動などの相互作用的文脈によって、依存度に最大20%の変動が生じる。
• 通常は高い自信を示すモデルが中程度の自信（'私はかなり確信しています…'）を示す場合、その表現に対する依存度は、通常は不確実性を示すモデルが同じ表現を出す場合よりも顕著に低い。
• 「お手伝いできて嬉しいです！」などの人間的擬似表現は、自信レベルが同一であっても、同じ事実的主張に対する依存度を顕著に高める。
• 主題分野が依存度に顕著な影響を及ぼし、哲学や宗教分野では数学のような計算が重い分野よりも高い依存度が観察された。
• AIエージェントの「温かさ」と「能力」の認識は、言語的自信を一定に保ったままでも、独立して依存度に影響を与える。
• 言語的自信のみでは依存度を予測できない。人間-LMの依存モデルには、履歴、キャラクター、トピックといった相互作用的文脈要因を併せて考慮する必要がある。