[논문 리뷰] The moral authority of ChatGPT

Sebastian Krügel, Andreas Ostermaier외 1명|arXiv (Cornell University)|2023. 01. 13.

Artificial Intelligence in Healthcare and Education인용 수 53

한 줄 요약

이 논문은 ChatGPT가 도덕적으로 일관되지 않은 조언을 제공하고, 봇으로 조언을 받는다는 것을 알아도 사용자 판단에 여전히 영향을 주며, 투명성은 효과적이지 않다고 주장한다; 디지털 역량 강화 교육을 통해 AI를 책임감 있게 사용하자고 제안한다.

ABSTRACT

ChatGPT is not only fun to chat with, but it also searches information, answers questions, and gives advice. With consistent moral advice, it might improve the moral judgment and decisions of users, who often hold contradictory moral beliefs. Unfortunately, ChatGPT turns out highly inconsistent as a moral advisor. Nonetheless, it influences users' moral judgment, we find in an experiment, even if they know they are advised by a chatting bot, and they underestimate how much they are influenced. Thus, ChatGPT threatens to corrupt rather than improves users' judgment. These findings raise the question of how to ensure the responsible use of ChatGPT and similar AI. Transparency is often touted but seems ineffective. We propose training to improve digital literacy.

연구 동기 및 목표

• ChatGPT가 사용자에게 일관된 도덕적 지침을 제공하는지 평가한다.
• 챗봇의 개입을 알고 있을 때도 ChatGPT가 사용자들의 도덕적 판단에 영향을 미치는지 검토한다.
• 영향 완화에 있어 투명성의 효과를 평가한다.
• 책임 있는 사용에 대한 함의와 디지털 리터러시 교육과 같은 개입 가능성을 논의한다.

제안 방법

• ChatGPT가 사용자들의 도덕적 판단에 미치는 영향을 측정하기 위한 실험 연구를 수행한다.
• 챗봇의 조언을 받고 있는 사용자의 인식을 평가하고, AI로 생성됐다는 것을 아는 이들과의 응답을 비교한다.
• 인지된 투명성과 그것이 영향을 방지하는 데 얼마나 효과적인지 평가한다.

실험 결과

연구 질문

• RQ1 ChatGPT가 시나리오 전반에서 일관된 도덕적 조언을 제공하는가?
• RQ2 사용자가 챗봇과 상호 작용하고 있다는 사실을 알 때 ChatGPT가 사용자들의 도덕적 판단에 얼마나 영향을 미치는가?
• RQ3 AI의 개입을 사용자가 알고 있는 것이 ChatGPT가 도덕적 판단에 미치는 영향을 감소시키거나 제거하는가?
• RQ4 투명성이 효과적인 해결책인가, 아니면 대안 개입이 필요한가(예: 디지털 리터러시 교육)?

주요 결과

• 도덕적 조언자로서 ChatGPT가 도덕적으로 일관되지 않은 지침을 제공한다.
• 사용자가 챗봇의 조언을 받고 있음을 알고 있을 때도 ChatGPT가 사용자들의 도덕적 판단에 영향을 미친다.
• 사용자들은 ChatGPT가 자신들의 판단에 미치는 영향력을 과소평가한다.
• 투명성만으로는 영향을 방지하는 데 효과적이지 않다.
• 저자들은 완화 전략으로 디지털 리터러시를 향상시키는 교육을 제안한다.