[論文レビュー] Interacting with next-phrase suggestions: How suggestion systems aid and influence the cognitive processes of writing

Advait Bhat, Saaket Agashe+4 more|arXiv (Cornell University)|Aug 1, 2022

Second Language Acquisition and Learning被引用数 5

ひとこと要約

本研究は、GPT-2を駆動とする次フレーズ提案システムが映画レビュー作成の過程でアマチュア作家に与える影響を、Hayes（2012）の書き込みモデルに基づく認知的視点から調査する。研究結果は、作家が提案内容に反対しても、抽象化・抽出・評価を繰り返す傾向にあり、特に感情の不一致がある状況では、提案システムが著しく作業計画を変容させ、集中を乱す要因となることを示している。

ABSTRACT

Writing with next-phrase suggestions powered by large language models is becoming more pervasive by the day. However, research to understand writers' interaction and decision-making processes while engaging with such systems is still emerging. We conducted a qualitative study to shed light on writers' cognitive processes while writing with next-phrase suggestion systems. To do so, we recruited 14 amateur writers to write two reviews each, one without suggestions and one with suggestions. Additionally, we also positively and negatively biased the suggestion system to get a diverse range of instances where writers' opinions and the bias in the language model align or misalign to varying degrees. We found that writers interact with next-phrase suggestions in various complex ways: Writers abstracted and extracted multiple parts of the suggestions and incorporated them within their writing, even when they disagreed with the suggestion as a whole; along with evaluating the suggestions on various criteria. The suggestion system also had various effects on the writing process, such as altering the writer's usual writing plans, leading to higher levels of distraction etc. Based on our qualitative analysis using the cognitive process model of writing by Hayes as a lens, we propose a theoretical model of 'writer-suggestion interaction' for writing with GPT-2 (and causal language models in general) for a movie review writing task, followed by directions for future research and design.

研究の動機と目的

• リアルタイムで次フレーズ提案システムと対話する作家の認知的プロセスを理解すること。
• 作家の意見とモデルが生成する提案との間で感情の不一致が生じた場合、それが書き込み行動や意思決定に与える影響を検討すること。
• 提案システムが書き込みプロセスに与える影響を分析すること。特に計画の変更、集中力の乱れ、評価プロセスの観点から。
• Hayes（2012）の『書き込みの認知的プロセスモデル』を基盤として、「作家－提案の対話」の理論的モデルを構築すること。
• GPT-2のような因果的言語モデルを用いた人間-AI共同書込みシステムの今後の設計と研究を支援すること。

提案手法

• インドの14名のアマチュアL2英語話者を対象に、定性的研究を実施。各参加者は、提案ありとない状況でそれぞれ2本の映画レビューを執筆した。
• IMDbの映画レビューに微調整を施したGPT-2言語モデルを用い、低評価（2.5点）に偏ったバージョンと高評価（8.5点）に偏ったバージョンの2種類を用意した。
• 作業中の思考 aloud プロトコルと後続インタビューを用いて、リアルタイムでの認知的プロセスと意思決定を捉えた。
• グラウンド理論的コード化を適用し、Hayes（2012）の認知的プロセスモデルを分析的枠組みとして用い、対話のカテゴリを分類した。
• 提案のバイアスが影響を及える状況を特定するため、感情の一致あり／不一致ありの条件を体系的に比較した。
• アイデア生成、翻訳、起草の各段階で観察された認知的行動に基づき、「作家－提案の対話」の理論的モデルを提唱した。

実験結果

リサーチクエスチョン

• RQ1 作家が提案全体に対して反対している場合、どのように認知的に次フレーズの提案と対話しているか？
• RQ2 提案システムは、作家の元々の書き込み計画や認知的ワークフローにどのような変化をもたらしているか？
• RQ3 作家の意図とモデルの出力との間で感情の不一致が生じた場合、提案の評価と選択にどのような影響を与えるか？
• RQ4 どのような認知的プロセス（例：アイデア生成、言語の翻訳、起草）が提案システムの影響を最も強く受けるか？
• RQ5 提案システムは、書き込みプロセス中にどのように集中力を乱すか、または認知的負荷を増加させるか？

主な発見

• 作家は、提案全体を拒否しても、部分的なフレーズを抽出・抽象化し、アイデア生成、言語の構成、タイピング支援に活用することが頻繁に見られた。
• 作家は、提案をそのまま受け入れなくても、関連性、感情の整合性、言語的質、自身の声のスタイルとの整合性に基づいて評価していた。
• 提案の存在により、構成、トーン、焦点の面で書き込み計画が変化した。特に、提案が強く意見を表明している場合や、不一致がある場合に顕著に見られた。
• 作家の感情と提案の出力との不一致が、評価作業の強化と認知的負荷の増大を引き起こし、特に意見が反対する提案では顕著だった。
• 提案システムにより、作家は頻繁に一時停止し、提案を検討または拒否することで、自然な書き込みリズムが乱れる現象が生じた。
• 本研究では、提案システムが内容の影響だけでなく、タイミングと頻度の面でも書き込みプロセスに影響を与えていることが判明した。特に、頻繁な提案は認知的干渉を増加させる要因となった。