[論文レビュー] Academic Writing with GPT-3.5: Reflections on Practices, Efficacy and Transparency

Oğuz Buruk|arXiv (Cornell University)|Feb 12, 2023

Artificial Intelligence in Healthcare and Education参考文献 17被引用数 4

ひとこと要約

この論文は、GPT-3.5（特にtext-davinci-003）を学術的執筆に使用する実務者による考察を提示し、5つの実用的応用例—Chunk Stylist、Bullet to Paragraph、Talk Textualizer、Research Buddy、Polisher—を特定し、それらの有効性と倫理的含意を評価している。本研究は、プロンプトを文書化し反復的編集を実施することで、GPT-3.5が透明性を保った状態で著述生産性を顕著に向上させられることを示している。

ABSTRACT

The debate around the use of GPT 3.5 has been a popular topic among academics since the release of ChatGPT. Whilst some have argued for the advantages of GPT 3.5 in enhancing academic writing, others have raised concerns such as plagiarism, the spread of false information, and ecological issues. The need for finding ways to use GPT 3.5 models transparently has been voiced, and suggestions have been made on social media as to how to use GPT 3.5 models in a smart way. Nevertheless, to date, there is a lack of literature which clearly outlines how to use GPT 3.5 models in academic writing, how effective they are, and how to use them transparently. To address this, I conducted a personal experience experiment with GPT 3.5, specifically by using OpenAI text davinci 003 model, for writing this article. I identified five ways of using GPT 3.5: Chunk Stylist, Bullet to Paragraph, Talk Textualizer, Research Buddy, and Polisher. I reflected on their efficacy, and commented on their potential impact on writing ethics. Additionally, I provided a comprehensive document which shows the prompts I used, results I got from GPT 3.5, the final edits and visually compares those by showing the differences in percentages.

研究の動機と目的

• GPT-3.5を学術的執筆に効果的かつ透明的・倫理的に使用する文献の不足に対処すること。
• 学術的執筆プロセスに統合可能な、具体的かつ繰り返し可能な実践的技法を同定・評価すること。
• GPT-3.5が著述の質と効率を向上させつつ学術的誠実性を維持する能力を検証すること。
• 再現可能性と責任の所在を支援するため、プロンプトと編集を文書化した透明なワークフローを提供すること。
• 特に捏造や著作者権に関する懸念を踏まえ、AI支援執筆の倫理的含意を検討すること。

提案手法

• 著者は、本論文の執筆にあたり、GPT-3.5のtext-davinci-003モデルを個人的に実験的に使用した。
• 5つの明確に区別された執筆手法を体系的に適用した：Chunk Stylist、Bullet to Paragraph、Talk Textualizer、Research Buddy、Polisher。
• 各手法には、テキスト生成のための特定かつ文書化されたプロンプトを適用し、その後に反復的かつ人間による編集を実施した。
• すべての出力元、モデル出力、および改訂履歴を記録することで、監査可能性を確保した。
• 包括的な付録を作成し、元のGPT-3.5出力、編集済みバージョン、コンテンツ差分のパcentを比較した。
• 倫理的配慮は、捏造、誤情報、著作者責任の観点から、反復的検討を通じて評価された。

実験結果

リサーチクエスチョン

• RQ1 GPT-3.5は、どのようにして学術的執筆ワークフローに効果的かつ倫理的に統合できるか？
• RQ2 どの具体的なプロンプト戦略が、学術的執筆において最も生産的かつ正確な結果をもたらすか？
• RQ3 反復的編集を伴うGPT-3.5の使用によって、執筆の効率と質はどの程度向上するか？
• RQ4 原典性と正確性の観点から、GPT-3.5への過剰依存が引き起こすリスクは何か？
• RQ5 学術的文脈において、GPT-3.5の使用をどのようにして透明かつ再現可能にするか？

主な発見

• 『Research Buddy』および『Polisher』の手法が、明確さ、一貫性、学術的トーンの向上において最も高い有効性を示した。
• 『Bullet to Paragraph』手法により、構造的コンテンツの迅速なドラフト作成が可能になり、初期段階での執筆時間を平均して約40％削減できた。
• 『Talk Textualizer』アプローチは、最小限の再作業で口語的表現を形式的な学術的文体に効果的に変換できた。
• 『Chunk Stylist』手法により、文書全体にわたるトーンとスタイルの一貫性を保ちやすくなり、ドキュメント全体の統一感が向上した。
• 著者は、GPT-3.5の出力には人間による大幅な編集が必要であると観察した。原出力と最終版との平均的なコンテンツ差分は30％から60％にのぼった。
• プロンプトの文書化とバージョン比較を通じた透明性は、執筆プロセスの信頼性と監査可能性を顕著に向上させた。