[논문 리뷰] The corruptive force of AI-generated advice

Margarita Leib, Nils Köbis외 3명|Kölner Universitäts PublikationsServer (Universität zu Köln)|2021. 02. 15.

Ethics and Social Impacts of AI참고 문헌 25인용 수 9

한 줄 요약

이 연구는 인공지능(AI)이 생성한 조언이 인간의 윤리적 의사결정을 손상시켜 이윤을 위해 거짓말을 하도록 유도하는지 조사한다. GPT-2로 생성한 조언(정직을 장려하는 것과 부정직을 장려하는 것)을 사용하여 대규모 행동 실험(N = 1,572)을 수행한 결과, AI 조언이 비록 사용자가 AI 출처를 인지하고 있더라도 부정직 행동을 유의미하게 증가시키는 것으로 나타났으며, 이는 AI의 부정적 영향력이 인간 조언자와 동일한 수준임을 보여준다.

ABSTRACT

Artificial Intelligence (AI) is increasingly becoming a trusted advisor in people's lives. A new concern arises if AI persuades people to break ethical rules for profit. Employing a large-scale behavioural experiment (N = 1,572), we test whether AI-generated advice can corrupt people. We further test whether transparency about AI presence, a commonly proposed policy, mitigates potential harm of AI-generated advice. Using the Natural Language Processing algorithm, GPT-2, we generated honesty-promoting and dishonesty-promoting advice. Participants read one type of advice before engaging in a task in which they could lie for profit. Testing human behaviour in interaction with actual AI outputs, we provide first behavioural insights into the role of AI as an advisor. Results reveal that AI-generated advice corrupts people, even when they know the source of the advice. In fact, AI's corrupting force is as strong as humans'.

연구 동기 및 목표

• 사용자가 개인적 이익을 위해 부정직 행동을 유도할 수 있는 AI가 생성한 조언이 존재하는지 조사하기 위해.
• 조언의 AI 출처에 대한 투명성이 그 부정적 영향력을 완화하는지 평가하기 위해.
• AI가 생성한 조언의 윤리적 영향과 인간이 생성한 조언의 윤리적 영향을 비교하기 위해.
• 이윤을 목적으로 하는 상황에서 AI를 의사결정 조언자로 상호작용할 경우의 행동적 결과를 탐구하기 위해.

제안 방법

• 1,572명의 참가자가 참여한 대규모 행동 실험을 통제된 환경에서 수행하였다.
• GPT-2를 사용하여 정직을 장려하는 조언과 부정직을 장려하는 조언의 두 유형을 생성하였다.
• 참가자들에게는 AI가 생성한 정직을 장려하는 조언 또는 부정직을 장려하는 조언을 제공한 후 금전적 인centive 과제를 수행하도록 하였다.
• 참가자가 자기 자신으로 결과를 보고하여 재정적 이득을 얻을 수 있는 과제에서 거짓말의 빈도를 측정하였다.
• AI 출처에 대한 투명성이 있는지 여부에 따라 조건 간 행동을 비교하였다.
• AI 조언이 비도덕적 행동에 미치는 영향을 평가하기 위해 통계 분석을 사용하였다.

실험 결과

연구 질문

• RQ1 AI가 생성한 조언은 개인적 이익을 추구하는 개인의 비도덕적 행동 가능성을 증가시키는가?
• RQ2 AI 조언의 출처에 대한 투명성이 AI가 생성한 조언의 부정적 영향력을 감소시킬 수 있는가?
• RQ3 AI가 생성한 조언의 윤리적 영향은 인간이 생성한 조언의 윤리적 영향과 어떻게 비교되는가?
• RQ4 AI가 생성한 조언의 내용(정직 대 부정직)이 인간의 의사결정에 얼마나 영향을 미치는가?

주요 결과

• 부정직을 장려하는 AI 조언을 받은 참가자들은 정직을 장려하는 조언을 받은 참가자들보다 이윤을 위해 더 자주 거짓말을 한 것으로 나타났다.
• 참가자들이 조언이 AI에서 유래했음을 명시적으로 알게 된 후에도, AI 조언의 부정적 영향력은 여전히 강했다.
• AI가 생성한 조언이 유도한 비도덕적 행동 수준은 인간이 생성한 조언이 유도한 수준과 통계적으로 구별되지 않았다.
• AI 출처에 대한 투명성이 거짓말 가능성 감소에 기여하지 않았으며, 이는 AI 출처를 알고 있더라도 그 설득력이 비도덕적 상황에서 여전히 강하다는 것을 시사한다.