[論文レビュー] The Future of AI-Assisted Writing

Carlos Alves Pereira, Tanay Komarlu+1 more|arXiv (Cornell University)|Jun 29, 2023

Artificial Intelligence in Healthcare and Education被引用数 5

ひとこと要約

本研究では、GPT-3およびGoogle Smart Composeを用いて、プッシュ（能動的提案）とプル（ユーザー要求による生成）のパラダイムを比較するユーザー比較研究を通じて、AI補助ライティングツールを調査した。結果として、ユーザーはスムーズで干渉の少ない統合を好むことが明らかになった。また、強い所有感と満足度を報告しており、両モデルともに同等の高品質なライティングを生み出しているが、特に不慣れなタスクではプルモードがアイデーションの速度を向上させた。顕著なバイアスは観察されなかったが、ユーザーはデータ倫理とモデルの透明性について顕著な懸念を示した。

ABSTRACT

The development of Natural Language Generation models has led to the creation of powerful Artificial Intelligence-assisted writing tools. These tools are capable of predicting users' needs and actively providing suggestions as they write. In this work, we conduct a comparative user-study between such tools from an information retrieval lens: pull and push. Specifically, we investigate the user demand of AI-assisted writing, the impact of the two paradigms on quality, ownership of the writing product, and efficiency and enjoyment of the writing process. We also seek to understand the impact of bias of AI-assisted writing. Our findings show that users welcome seamless assistance of AI in their writing. Furthermore, AI helped users to diversify the ideas in their writing while keeping it clear and concise more quickly. Users also enjoyed the collaboration with AI-assisted writing tools and did not feel a lack of ownership. Finally, although participants did not experience bias in our experiments, they still expressed explicit and clear concerns that should be addressed in future AI-assisted writing tools.

研究の動機と目的

• AI補助ライティングツールのユーザー需要と好まれるインタラクションパラダイムを理解すること。
• プッシュ対プルのAI支援がライティング品質、効率性、所有感、ユーザーの満足度に与える影響を評価すること。
• クラウドソーシングされた訓練データを用いたAI生成テキストに生じるバイアスの有無とユーザーの認識を調査すること。
• 将来的なAIライティングツールの設計を、より優れたユーザーエクスペリエンスと倫理的ガードレールを備えて支援すること。

提案手法

• ユーザー行動を評価する目的で、熟知のタスクと不慣れなタスクの2つのライティングタスクを用いた比較ユーザー研究を実施した。
• プッシュモードはGoogle Smart Composeを模擬し、プルモードはGPT-3を統合したカスタムGoogleアドオンを用いた。
• ライティング品質、所有感、満足度、バイアスの認識を測定するため、タスク終了後のアンケートを通じて定量的および定性的データを収集した。
• 第三者による評価を通じてライティング品質を評価したが、要約では明示的な結果は報告されていない。
• 提案受容率やワークフローの複雑さ（例：クリック数）などのユーザー行動パターンを分析した。
• 限られた観察事例であったが、明示的なアンケート質問を通じてユーザーのバイアス認識を調査した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: ユーザーはライティングプロセスにおいてAIの支援をどの程度望むか？
• RQ2 RQ2: AI補助ライティングパラダイムは、ユーザーの所有感と満足度にどのような影響を与えるか？
• RQ3 RQ3: どのAI補助ライティングパラダイムが、より高い品質のライティングをより効率的に生み出せるか？
• RQ4 RQ4: クラウドソーシングされたデータを用いたAI補助ライティングツールで生じるバイアスは、ユーザーにどのような影響を与えるか？

主な発見

• ユーザーはAI支援を強く歓迎しており、明確さを損なわずにアイデアの多様性と簡潔さが向上したと報告した。
• 参加者は特にプッシュ条件（提案があまり干渉的でない状態）において、最終的なライティング製品に対して強い所有感を保持していた。
• プルパラダイムは、不慣れなライティングタスクにおいてより高い単位時間あたりの語数を達成しており、アイデーションの知識源としての価値が示された。
• 観察されたバイアスは最小限であった（16人中1人の参加者がバイアス出力を経験）が、ユーザーはバイアスとデータプライバシーについて明確かつ明示的な懸念を示した。
• ユーザーは、より洗練されたGSCインターフェースとの滑らかで摩擦の少ないやり取りのおかげで、プッシュ条件でより高い満足度を報告した。
• ユーザー体験が最も重要な要因であった：ドキュメントエディタへのシームレスな統合は、認識される有用性と満足度を顕著に向上させた。