[논문 리뷰] Academic Writing with GPT-3.5: Reflections on Practices, Efficacy and Transparency

Oğuz Buruk|arXiv (Cornell University)|2023. 02. 12.

Artificial Intelligence in Healthcare and Education참고 문헌 17인용 수 4

한 줄 요약

이 논문은 학술 글쓰기에서 GPT-3.5(특히 text-davinci-003)를 사용한 실무자로서의 성찰을 제시하며, 다섯 가지 실용적 활용 사례—Chunk Stylist, Bullet to Paragraph, Talk Textualizer, Research Buddy, Polisher—를 식별하고 그 유효성과 윤리적 함의를 평가한다. 연구는 GPT-3.5를 투명하게 사용하고 프롬프트를 문서화하며 반복적인 편집을 수행할 경우 글쓰기 생산성이 크게 향상될 수 있음을 보여준다.

ABSTRACT

The debate around the use of GPT 3.5 has been a popular topic among academics since the release of ChatGPT. Whilst some have argued for the advantages of GPT 3.5 in enhancing academic writing, others have raised concerns such as plagiarism, the spread of false information, and ecological issues. The need for finding ways to use GPT 3.5 models transparently has been voiced, and suggestions have been made on social media as to how to use GPT 3.5 models in a smart way. Nevertheless, to date, there is a lack of literature which clearly outlines how to use GPT 3.5 models in academic writing, how effective they are, and how to use them transparently. To address this, I conducted a personal experience experiment with GPT 3.5, specifically by using OpenAI text davinci 003 model, for writing this article. I identified five ways of using GPT 3.5: Chunk Stylist, Bullet to Paragraph, Talk Textualizer, Research Buddy, and Polisher. I reflected on their efficacy, and commented on their potential impact on writing ethics. Additionally, I provided a comprehensive document which shows the prompts I used, results I got from GPT 3.5, the final edits and visually compares those by showing the differences in percentages.

연구 동기 및 목표

• GPT-3.5를 학술 글쓰기에 효과적이고 투명하며 윤리적으로 사용하는 데 관한 문헌의 부족을 보완하기 위해.
• 학술 글쓰기 과정에 GPT-3.5를 통합하기 위한 특정하고 반복 가능한 실천 방식을 식별하고 평가하기 위해.
• 학술적 정직성을 유지하면서 GPT-3.5가 글쓰기 품질과 효율성을 얼마나 향상시키는지 평가하기 위해.
• 재현 가능성과 책임감을 확보하기 위해 프롬프트와 편집을 활용한 투명하고 문서화된 워크플로우를 제공하기 위해.
• 특히 표절과 저자권 문제에 관해 AI 보조 글쓰기의 윤리적 함의를 성찰하기 위해.

제안 방법

• 저자는 이 논문을 작성하기 위해 GPT-3.5 text-davinci-003 모델을 사용한 개인 실험을 수행하였다.
• 다섯 가지 구체적인 글쓰기 실천 방식을 체계적으로 적용하였다: Chunk Stylist, Bullet to Paragraph, Talk Textualizer, Research Buddy, Polisher.
• 각 실천 방식은 텍스트 생성을 위해 특정하고 문서화된 프롬프트를 사용한 후 반복적인 인간 편집을 거쳤다.
• 원본 GPT-3.5 출력물, 편집된 버전, 콘텐츠의 백분율 차이를 비교하기 위해 종합적인 부록을 제작하였다.
• 모든 프롬프트, 모델 출력물, 수정 사항을 기록함으로써 감사 가능성을 확보하는 투명성을 강조하였다.
• 표절, 오락성 정보, 저자 책임에 대한 반성적 고려를 통해 윤리적 고려사항을 평가하였다.

실험 결과

연구 질문

• RQ1 GPT-3.5는 학술 글쓰기 워크플로우에 어떻게 효과적이고 윤리적으로 통합될 수 있는가?
• RQ2 어떤 특정한 프롬프팅 전략이 학술 글쓰기에서 가장 생산적이고 정확한 결과를 낳는가?
• RQ3 반복적인 인간 편집을 병행할 경우 GPT-3.5는 글쓰기 효율성과 품질을 어느 정도 향상시키는가?
• RQ4 원본성과 정확성 측면에서 GPT-3.5에 과도하게 의존할 경우의 위험은 무엇인가?
• RQ5 학술적 맥락에서 GPT-3.5 사용을 어떻게 투명하고 재현 가능하게 만들 수 있는가?

주요 결과

• Research Buddy와 Polisher 기법이 명료성, 논리적 일관성, 학술적 어조 향상 측면에서 가장 높은 유효성을 보였다.
• Bullet to Paragraph 방법은 체계적인 콘텐츠 초안 작성에 효과적이었으며, 초도 단계에서 글쓰기 시간을 약 40% 감소시켰다.
• Talk Textualizer 접근 방식은 최소한의 재작업으로 구어체를 공식적인 학술 문체로 효과적으로 변환시켰다.
• Chunk Stylist 방법은 섹션 간 일관된 어조와 스타일 조정을 가능하게 하여 문서의 통일성을 향상시켰다.
• 저자는 GPT-3.5 출력물에 대해 상당한 인간 편집이 필요했으며, 원본 출력물과 최종 버전 간 평균 콘텐츠 차이가 30%에서 60%에 이르렀다.
• 문서화된 프롬프트와 버전 비교를 통한 투명성은 글쓰기 과정의 신뢰도와 감사 가능성을 크게 향상시켰다.