[論文レビュー] AI Transparency in the Age of LLMs: A Human-Centered Research Roadmap

Q. Vera Liao, Jennifer Wortman Vaughan|arXiv (Cornell University)|Jun 2, 2023

Topic Modeling被引用数 25

ひとこと要約

この論文は、LLMのための人間中心の透明性ロードマップを提案し、課題、利害関係者のニーズ、および透明性の4つの一般的アプローチ（モデル報告、結果の評価、説明、そして不確実性の伝達）を挙げ、それらをLLMsに適用する指針を提供する。

ABSTRACT

The rise of powerful large language models (LLMs) brings about tremendous opportunities for innovation but also looming risks for individuals and society at large. We have reached a pivotal moment for ensuring that LLMs and LLM-infused applications are developed and deployed responsibly. However, a central pillar of responsible AI -- transparency -- is largely missing from the current discourse around LLMs. It is paramount to pursue new approaches to provide transparency for LLMs, and years of research at the intersection of AI and human-computer interaction (HCI) highlight that we must do so with a human-centered perspective: Transparency is fundamentally about supporting appropriate human understanding, and this understanding is sought by different stakeholders with different goals in different contexts. In this new era of LLMs, we must develop and design approaches to transparency by considering the needs of stakeholders in the emerging LLM ecosystem, the novel types of LLM-infused applications being built, and the new usage patterns and challenges around LLMs, all while building on lessons learned about how people process, interact with, and make use of information. We reflect on the unique challenges that arise in providing transparency for LLMs, along with lessons learned from HCI and responsible AI research that has taken a human-centered perspective on AI transparency. We then lay out four common approaches that the community has taken to achieve transparency -- model reporting, publishing evaluation results, providing explanations, and communicating uncertainty -- and call out open questions around how these approaches may or may not be applied to LLMs. We hope this provides a starting point for discussion and a useful roadmap for future research.

研究の動機と目的

• 大規模言語モデル（LLMs）とそのエコシステムがもたらす独自の透明性の課題を特定する。
• 多様な利害関係者と文脈を考慮した人間中心の視点を提唱する。
• 4つの一般的な透明性アプローチをレビューし、それらのLLMsへの適用可能性を検討する。
• LLM透明性に関する今後の研究を指導する方向性と未解決の問題を提案する。

提案手法

• HCIとResponsible AIの既存のAI透明性研究を統合し、利害関係者の目標とニーズをマッピングする。
• 能力の予測不能性や不透明なアーキテクチャなど、LLM特有の透明性の課題を特徴づける。
• 4つの普及している透明性アプローチを概説し、それらがLLMsにどのように適用され得るかを分析する（モデル報告、評価結果の公開、説明、不確実性の伝達）。
• インターフェース設計、メンタルモデル、信頼、ユーザーの実効性に対する影響を論じる。

実験結果

リサーチクエスチョン

• RQ1 LLMsの透明性が、より小さなモデルの透明性とどう異なるのか？
• RQ2 モデル報告、評価、説明、不確実性の伝達を、LLMエコシステムの利害関係者を支援するように適応させるにはどうすればよいか？
• RQ3 透明性をユーザーの目標とメンタルモデルに合わせるために、どのような設計・評価上の考慮が必要か？
• RQ4 LLM透明性に関連する責任あるAIガバナンスと政策には、まだどのような未解決の問いが残っているか？

主な発見

• 透明性は、情報を提供するだけでなく、異なる利害関係者や文脈に応じた適切な理解を支援すべきである。
• LLMsは、能力の予測不能性、巨大で不透明なアーキテクチャ、広く進化する利害関係者ベースといった課題をもたらす。
• 人間中心の観点は目標とタスクを強調し、透明性をデバッグ、意思決定、ガバナンスなどの下流活動の達成と結びつける。
• コミュニケーションモダリティとデザイン（視覚資料、自然言語、フレーミング）は、透明性情報の処理と利用に大きく影響する。