[논문 리뷰] Augmenting the Author: Exploring the Potential of AI Collaboration in Academic Writing

Joseph Tu, Hilda Hadan외 4명|arXiv (Cornell University)|2024. 04. 23.

Artificial Intelligence in Healthcare and Education인용 수 6

한 줄 요약

이 논문은 연구 개요 개발에서 Gemini와 ChatGPT를 AI 작문 도우미로 비교하며 프롬프트 설계, 출력 분석, 그리고 책임 있는 인간–AI 협력을 강조합니다.

ABSTRACT

This workshop paper presents a critical examination of the integration of Generative AI (Gen AI) into the academic writing process, focusing on the use of AI as a collaborative tool. It contrasts the performance and interaction of two AI models, Gemini and ChatGPT, through a collaborative inquiry approach where researchers engage in facilitated sessions to design prompts that elicit specific AI responses for crafting research outlines. This case study highlights the importance of prompt design, output analysis, and recognizing the AI's limitations to ensure responsible and effective AI integration in scholarly work. Preliminary findings suggest that prompt variation significantly affects output quality and reveals distinct capabilities and constraints of each model. The paper contributes to the field of Human-Computer Interaction by exploring effective prompt strategies and providing a comparative analysis of Gen AI models, ultimately aiming to enhance AI-assisted academic writing and prompt a deeper dialogue within the HCI community.

연구 동기 및 목표

• 학술적 글쓰기의 초기 초안 작성 단계에서 생성형 AI가 어떻게 도움이 될 수 있는지 조사합니다.
• 유용하고 신뢰할 수 있는 AI 출력물을 이끌어내는 프롬프트 설계 전략을 검토합니다.
• 두 가지 Gen AI 모델(ChatGPT 및 Gemini)을 연구 개요 초안 작성 측면에서 비교 분석합니다.
• HCI에서 책임 있는 AI 보조 작문을 위한 한계, 도전 과제 및 모범 사례를 강조합니다.
• AI 활용 작문 워크플로우에 대해 학계의 투명성과 대화를 촉진합니다.

제안 방법

• prompts 설계 및 AI 출력 토론을 위해 4–6명의 연구원과의 협력적 연구 질의 세션을 촉진했습니다.
• 주간 토론의 오디오 기록 분석을 위해 Otter.Ai를 사용했습니다.
• 동일 연구 주제에 대해 Gemini 및 ChatGPT로부터 초안을 이끌어내기 위한 구조화된 프롬프트를 사용했습니다.
• 그룹 심의를 바탕으로 모델의 강점, 한계 및 제안된 개선점에 대한 질적 비교를 수행했습니다.
• 신뢰성, 투명성 및 AI 보조 작문에서 인간 저자의 역할에 대한 비판적 성찰을 수행했습니다.

실험 결과

연구 질문

• RQ1 프롬프트 설계 및 프롬프트 변형이 AI가 생성한 연구 개요의 품질과 일관성에 어떤 영향을 미치는가?
• RQ2 연구 개요를 생성하는 데 있어 ChatGPT와 Gemini의 강점, 한계 및 고유한 능력은 무엇인가?
• RQ3 Gen AI를 학술 작문에 사용할 때의 신뢰성, 투명성 및 윤리적 고려사항은 무엇인가?
• RQ4 연구의 개요 개발 프로세스를 향상시키기 위해 인간–AI 협업을 어떻게 최적화할 수 있는가?
• RQ5 HCI 맥락에서 책임 있고 효과적인 AI 보조 작문을 위한 지침은 무엇이 도출되는가?

주요 결과

• 프롬프트 변형은 모델 간 출력 품질에 크게 영향을 미친다.
• Gemini는 동적 제안과 합리화를 제공하고 참고문헌 검색을 안내할 수 있다.
• ChatGPT는 명시적 지시를 준수하지만 응답을 날조할 수 있으며 문장 재구성 및 일부 LaTeX 형식에 어려움이 있다.
• 두 모델 모두 참조를 기반으로 한 문단 개선과 같은 작업에 대해 명시적 프롬프트를 필요로 함으로써 정확한 지시의 필요성을 강조한다.
• AI 개입에 대한 투명성과 모델 한계의 처리 방식은 신뢰할 수 있는 AI 보조 작문에 중요하다.
• 인간–AI 협업은 이점을 극대화하고 진화하는 한계를 완화하기 위해 지속적인 성찰과 대화를 필요로 한다.