[논문 리뷰] The Case for Animal-Friendly AI

Sankalpa Ghose, Yip Fai Tse외 3명|arXiv (Cornell University)|2024. 03. 02.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

본 논문은 AI 내 동물 고려를 평가하기 위한 프레임워크를 제시하며, LLM 출력의 진실성 및 동물 이익과의 정합성을 평가하고, 사례 연구로 OpenAI ChatGPT-4와 Anthropic Claude 2.1을 사용한다.

ABSTRACT

Artificial intelligence is seen as increasingly important, and potentially profoundly so, but the fields of AI ethics and AI engineering have not fully recognized that these technologies, including large language models (LLMs), will have massive impacts on animals. We argue that this impact matters, because animals matter morally. As a first experiment in evaluating animal consideration in LLMs, we constructed a proof-of-concept Evaluation System, which assesses LLM responses and biases from multiple perspectives. This system evaluates LLM outputs by two criteria: their truthfulness, and the degree of consideration they give to the interests of animals. We tested OpenAI ChatGPT 4 and Anthropic Claude 2.1 using a set of structured queries and predefined normative perspectives. Preliminary results suggest that the outcomes of the tested models can be benchmarked regarding the consideration they give to animals, and that generated positions and biases might be addressed and mitigated with more developed and validated systems. Our research contributes one possible approach to integrating animal ethics in AI, opening pathways for future studies and practical applications in various fields, including education, public policy, and regulation, that involve or relate to animals and society. Overall, this study serves as a step towards more useful and responsible AI systems that better recognize and respect the vital interests and perspectives of all sentient beings.

연구 동기 및 목표

• AI 윤리와 공학에서 동물의 도덕적 관련성을 고무한다.
• 두 가지 규범적 관점에서 LLM 출력물을 평가하는 개념 증명 평가 시스템을 도입한다.
• 현대 LLM에서 동물 이익에 대한 편향과 편향 가능성을 벤치마크하고 논의한다.
• 동물 중심의 평가가 정책, 교육 및 책임 있는 AI 개발을 이끌 수 있음을 보여준다.

제안 방법

• LLM 출력의 진실성과 동물 이익에 대한 고려를 점수화하는 개념 증명 평가 시스템을 만든다.
• 여러 규범적 관점에서 구조화된 질의에 시스템을 적용한다.
• 사례 연구로 OpenAI ChatGPT-4와 Anthropic Claude 2.1을 테스트한다.
• 향후 시스템의 편향 및 완화 가능 영역을 식별하기 위해 출력을 분석한다.

실험 결과

연구 질문

• RQ1 평가 시스템이 LLM 출력이 동물 이익을 얼마나 고려하는지 측정할 수 있는가?
• RQ2 ChatGPT-4와 Claude 2.1과 같은 현행 LLM이 동물 관련 문제에 대해 편향을 보이는가?
• RQ3 동물 중심의 평가가 AI 시스템의 완화 전략에 정보를 제공할 수 있는가?

주요 결과

• 예비 결과는 모델 출력이 동물 고려를 벤치마크할 수 있음을 시사한다.
• 본 연구는 보다 발전된 평가 시스템으로 해결될 수 있는 편향과 생성된 입장을 식별한다.
• 이 접근 방식은 AI 현장 실무, 정책 및 규제에 동물 윤리를 통합하는 길을 제공한다.