[論文レビュー] Augmenting the Author: Exploring the Potential of AI Collaboration in Academic Writing

Joseph Tu, Hilda Hadan+4 more|arXiv (Cornell University)|Apr 23, 2024

Artificial Intelligence in Healthcare and Education被引用数 6

ひとこと要約

論文は研究アウトライン開発におけるGeminiとChatGPTをAIライティングアシスタントとして比較し、プロンプト設計・出力分析・人間とAIの責任ある協働を重視しています。

ABSTRACT

This workshop paper presents a critical examination of the integration of Generative AI (Gen AI) into the academic writing process, focusing on the use of AI as a collaborative tool. It contrasts the performance and interaction of two AI models, Gemini and ChatGPT, through a collaborative inquiry approach where researchers engage in facilitated sessions to design prompts that elicit specific AI responses for crafting research outlines. This case study highlights the importance of prompt design, output analysis, and recognizing the AI's limitations to ensure responsible and effective AI integration in scholarly work. Preliminary findings suggest that prompt variation significantly affects output quality and reveals distinct capabilities and constraints of each model. The paper contributes to the field of Human-Computer Interaction by exploring effective prompt strategies and providing a comparative analysis of Gen AI models, ultimately aiming to enhance AI-assisted academic writing and prompt a deeper dialogue within the HCI community.

研究の動機と目的

• 生成系AIが学術論文の初期草案作成段階をどう支援できるかを調査する。
• 有用で信頼性の高いAI出力を引き出すプロンプト設計戦略を検討する。
• 二つの生成系AIモデル（ChatGPTとGemini）を用いた研究アウトライン作成の比較分析を提供する。
• HCIにおける責任あるAI支援執筆の制限・課題・ベストプラクティスを強調する。
• AI対応の執筆ワークフローに関する学術コミュニティ内の透明性と対話を促進する。

提案手法

• 4–6名の研究者と共にプロンプトを設計しAI出力を議論する協働探究セッションを主導した。
• 毎週の議論の音声逐次記録にOtter.Aiを用い、プロンプトと応答を分析した。
• 同一の研究テーマについてGeminiとChatGPTの両方からアウトラインを引き出すための構造化されたプロンプトを用いた。
• グループ議論に基づくモデルの長所・短所および提案される改善点の定性的比較。
• AI支援執筆における信頼性・透明性・人間著者の役割について批判的反省。

実験結果

リサーチクエスチョン

• RQ1 プロンプト設計とプロンプトの変更加がAI生成研究アウトラインの品質と一貫性にどう影響するか？
• RQ2 研究アウトライン生成におけるChatGPTとGeminiの長所・短所・固有の能力は何か？
• RQ3 学術執筆に Gen AIを使用する際の信頼性・透明性・倫理的配慮は何か？
• RQ4 研究におけるアウトライン開発プロセスを向上させるために人間とAIの協働をどう最適化できるか？
• RQ5 HCI文脈における責任あるかつ効果的なAI支援執筆のための指針は何か？

主な発見

• プロンプトの変化はモデル間で出力品質に大きく影響します。
• Geminiは動的な提案と根拠を提供し、参考文献検索を導くことができます。
• ChatGPTは明示的な指示には従いますが、回答を捏造することがあり、文の再構成や一部のLaTeX形式に苦労します。
• 両モデルは参考文献に基づくパラグラフ改善のような作業に明示的なプロンプトを必要とするため、正確な指示の重要性を強調します。
• AIの関与の透明性とモデルの制限の扱いは信用あるAI支援執筆に不可欠です。
• 人間とAIの協働は、継続的な省察と対話を必要とし、利益を最大化し進化する制限を緩和します。