[論文レビュー] Parachute: Evaluating Interactive Human-LM Co-writing Systems

Hua Shen, Tongshuang Wu|arXiv (Cornell University)|Mar 11, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

本論文は、動的相互作用、人間とLMの協働、および作成物の質を統合した、インタラクティブな人間-LM共同執筆システムの人的中心評価フレームワーク「Parasystem」を紹介する。反復的共同執筆プロセスを評価する構造的で指標駆動のアプローチを提案し、最先端のシステムを対象とした事例研究を通じて、従来の静的評価ではユーザーに特化した相互作用の改善を捉えられないと示している。

ABSTRACT

A surge of advances in language models (LMs) has led to significant interest in using LMs to build co-writing systems, in which humans and LMs interactively contribute to a shared writing artifact. However, there is a lack of studies assessing co-writing systems in interactive settings. We propose a human-centered evaluation framework, Parachute, for interactive co-writing systems. Parachute showcases an integrative view of interaction evaluation, where each evaluation aspect consists of categorized practical metrics. Furthermore, we present Parachute with a use case to demonstrate how to evaluate and compare co-writing systems using Parachute.

研究の動機と目的

• インタラクティブな人間-LM共同執筆システムの包括的な評価手法の欠如に対処すること。
• 最終的な作成物の質をはるかに超える、動的かつ変化する人間-LM相互作用の変化を反映する評価軸を特定すること。
• 公平で包括的なシステム比較を支援する実用的で統合的なフレームワークを開発すること。
• 既存の共同執筆システムを対象とした事例研究を通じて、フレームワークの実用性を示すこと。

提案手法

• フレームワーク「Parasystem」は、インタラクションデザインのための共同創造フレームワーク（COFI）に基づき、人間-LM相互作用、動的相互作用トレース、作成物評価という3つの核心的評価側面を特定する。
• 最先端のシステムからの既存の評価指標を、サブグループに分類し、客観的指標と主観的指標の区別を行う。
• 新規の動的指標（例：反復的提案統合、期待値の調整）と従来の指標（例：編集距離、創造性、満足度）を統合する。
• 最近の共同執筆システム（例：Wordcraft、Dramatron、Integrative Leaps）からの指標を収集・マッピングする誘導的アプローチを用いる。
• フレームワークは定性的および定量的評価を両立させ、共同執筆システムの比較分析を可能にする。
• 事例研究により、Parasystemが、ユーザーのタイプや相互作用ダイナミクスに応じたシステム機能の評価と対比にどのように使えるかを示している。

実験結果

リサーチクエスチョン

• RQ1 最終的な作成物の質を越えて、インタラクティブな人間-LM共同執筆システムをどのように評価できるか。
• RQ2 共同執筆におけるユーザーのパフォーマンスと満足度に影響を与える主な相互作用ダイナミクスは何か。
• RQ3 異なるユーザー層（例：初心者対熟練者）は、共同執筆システムからどのように異なる恩恵を受けるか。
• RQ4 反復的執筆ステップにわたる人間-LM相互作用の動的変化を最もよく捉える指標は何か。
• RQ5 公平で包括的なシステム比較を支援する統一的で統合的な評価フレームワークをどのように設計できるか。

主な発見

• 最終的な作成物にのみ注目する従来の評価では、特に初心者のライターにおいて、LMの動的影響を捉えられていない。
• Parasystemフレームワークは、既存の共同執筆システムから得られた20以上の評価指標を、相互作用、ダイナミクス、作成物の質という3つの統合的側面に的確にマッピング・分類した。
• 初心者ユーザーはLMの使用により構造的・文法的改善を著しく示したが、熟練者ではほとんど改善が見られず、動的相互作用指標の重要性が浮き彫りになった。
• 「統合率」や「完了までの時間」、「提案統合ダイナミクス」などの指標が、システムの使いやすさと効率性における有意義な差を明らかにした。
• 「所有感の感じ方」や「完成した記事に対する誇り」などの主観的指標は、ユーザー満足度とシステム効果性と強く相関していた。
• フレームワークにより、研究者は異なるユーザーの属性や相互作用パターンに応じて、システムの強みと弱みを特定でき、より情報に基づいた設計意思決定が可能になった。