[論文レビュー] Ironies of Generative AI: Understanding and mitigating productivity loss in human-AI interactions

Auste Simkute, Lev Tankelevitch+4 more|arXiv (Cornell University)|Feb 17, 2024

Ethics and Social Impacts of AI被引用数 7

ひとこと要約

この論文はGenAI利用における生産性低下の4つのドライバーを統合し、生産から評価への移行、役に立たないワークフロー再構成、中断、タスクの複雑性の偏りを基盤とするHuman Factors研究およびGenAI研究に根ざした設計方針を提案する。

ABSTRACT

Generative AI (GenAI) systems offer opportunities to increase user productivity in many tasks, such as programming and writing. However, while they boost productivity in some studies, many others show that users are working ineffectively with GenAI systems and losing productivity. Despite the apparent novelty of these usability challenges, these 'ironies of automation' have been observed for over three decades in Human Factors research on the introduction of automation in domains such as aviation, automated driving, and intelligence. We draw on this extensive research alongside recent GenAI user studies to outline four key reasons for productivity loss with GenAI systems: a shift in users' roles from production to evaluation, unhelpful restructuring of workflows, interruptions, and a tendency for automation to make easy tasks easier and hard tasks harder. We then suggest how Human Factors research can also inform GenAI system design to mitigate productivity loss by using approaches such as continuous feedback, system personalization, ecological interface design, task stabilization, and clear task allocation. Thus, we ground developments in GenAI system usability in decades of Human Factors research, ensuring that the design of human-AI interactions in this rapidly moving field learns from history instead of repeating it.

研究の動機と目的

• GenAIシステムにおける生産性低下の4つの大分類を特定する（生産から評価への移行、役に立たないワークフロー再構成、中断、タスクの複雑性の偏り）。
• 自動化と関連するHF研究の何十年にもわたる研究に Challengeを位置づけ、分野横断のGenAI研究と関連づける。
• Human Factorsに基づく設計指向を提案する（継続的なフィードバック、個人化、エコロジカル・インタフェース設計、タスクの安定化、明確なタスク割り当て）。
• GenAI使用における状況認識と認知的負荷のさらなる研究の必要性を強調する。

提案手法

• HF文献の自動化に関する知見と、領域横断のGenAIユーザ研究（コーディング、執筆、デザイン、医療）を統合する。
• 観察されたGenAIの使いやすさの課題を4つの生産性低下カテゴリにマッピングする。
• 確立されたHF原理（フィードバック、柔軟性）から設計影響を抽出し、GenAIシステム設計を導く。

実験結果

リサーチクエスチョン

• RQ1 GenAIと人間の相互作用で観察される主な生産性低下メカニズムは何か。
• RQ2 これらのメカニズムはHF研究における“自動化の皮肉”とどのように関連するか。
• RQ3 HFに触発された設計指向はGenAIシステムの生産性低下をどのように緩和できるか。
• RQ4 これらの課題はプログラミング以外の領域（例: 執筆、デザイン、医療）でどのように表れるか。

主な発見

• 四つの生産性低下カテゴリを特定: 生産から評価への移行、役に立たないワークフロー再構成、タスクの中断、タスクの複雑性の偏り。
• GenAIの高出力能力と不透明性は状況認識の低下と監視作業負荷の増大に寄与。
• プロンプト設計と出力適応は、タスクシーケンスを乱し認知的負荷を増加させる新たなタスクを生む。
• 自動化は自足感と過度の依存を招き、ロバスト性を低下させエラーリスクを増加させる。
• HFに触発した設計指向には、継続的なフィードバック、システムの個人化、エコロジカル・インタフェース設計、タスクの安定化、明確なタスク割り当てが含まれる。
• 本論文はHF研究の何十年にもわたる知見を活用して、分野横断のGenAIの使いやすさと生産性を改善することに主張する。