[논문 리뷰] AI Governance and Accountability: An Analysis of Anthropic's Claude

Aman Priyanshu, Yash Maurya외 1명|arXiv (Cornell University)|2024. 05. 02.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

본 논문은 NIST 및 EU AI Act 프레임워크를 통해 Anthropic의 Claude를 분석하여 거버넌스의 격차를 식별하고 투명성, 벤치마킹, 데이터 처리 개선 등을 포함한 대응책을 제시한다.

ABSTRACT

As AI systems become increasingly prevalent and impactful, the need for effective AI governance and accountability measures is paramount. This paper examines the AI governance landscape, focusing on Anthropic's Claude, a foundational AI model. We analyze Claude through the lens of the NIST AI Risk Management Framework and the EU AI Act, identifying potential threats and proposing mitigation strategies. The paper highlights the importance of transparency, rigorous benchmarking, and comprehensive data handling processes in ensuring the responsible development and deployment of AI systems. We conclude by discussing the social impact of AI governance and the ethical considerations surrounding AI accountability.

연구 동기 및 목표

• 확립된 AI 거버넌스 프레임워크(NIST AI Risk Management Framework 및 EU AI Act)를 사용하여 Anthropic’s Claude를 분석한다.
• Claude와 그 Constitutional AI 접근 방식이 제기하는 잠재적 위협과 위험을 식별한다.
• 식별된 위험과 거버넌스 격차에 대한 완화 전략을 제안한다.
• 윤리, 투명성, 책임성에 대한 Constitutional AI의 함의를 검토한다.
• 더 넓은 AI 거버넌스 담론과 실천에 정보를 제공하는 통찰을 제시한다.

제안 방법

• NIST AI Risk Management Framework(Governance, Map, Measure, Manage)와 EU AI Act 위험 분류에 따라 Claude의 위협 분석을 수행한다.
• Anthropic’s Constitutional AI 학습 접근 방식과 그것의 윤리적/실용적 함의를 평가한다.
• 프레임워크 요구사항과 벤치마크에 비추어 프라이버시, 데이터 사용, 투명성 관행을 비교한다.
• 투명성 강화, 환각/편향 벤치마킹, 데이터 삭제/언러닝 프로세스를 포함한 구체적인 완화책을 제안한다.
• 사회적 영향 및 거버넌스 함의를 논의하기 위해 연구 결과를 종합한다.

Figure 1: Anthropic’s Claude is one of the most popular large language model chatbots available to the everyday consumer. This paper presents a study of its practices and conduct through the lens of AI governance.

실험 결과

연구 질문

• RQ1 Anthropic’s Claude가 거버넌스, 위험 매핑, 영향 특성화 측면에서 NIST AI Risk Management Framework와 EU AI Act에 얼마나 부합하는가?
• RQ2 데이터 프라이버시, hallucinations, 제3자 데이터 사용, constitutional AI 윤리를 포함하여 Claude에 대해 식별된 주요 위협과 위험은 무엇인가?
• RQ3 투명성, 벤치마킹, 데이터 처리 및 책임 격차를 해소하기 위한 완화 전략은 무엇인가?
• RQ4 공정성, 편향 및 문화 간 윤리 고려사항에 대한 Constitutional AI의 함의는 무엇인가?

주요 결과

• Claude는 개인정보 보호 정책의 투명성이 제한적이며 데이터 사용 및 보안 문제를 제기한다.
• 출력물의 환각과 편향에 대한 우려가 있으며, 독립적 검증을 위한 공개 벤치마킹 데이터가 제한적이다.
• 제3자 데이터 사용 및 파트너 거버넌스(예: Google 및 Amazon)로 인해 책임성와 불확실성이 증가한다.
• Anthropic의 Constitutional AI는 윤리의 보편성과 다양한 시각의 잠재적 억압에 대한 의문을 제기한다.
• 해당 분석은 식별된 위험을 NIST 및 EU 프레임워크 범주에 매핑하고, 책임성과 선제적 위험 관리의 격차를 강조한다.
• 제안된 완화책은 투명성, 엄격한 편향/환각 벤치마크, 그리고 강력한 데이터 삭제/언러닝 프로세스를 강조한다.

Figure 2: Rapidly growing customer visits on their Claude’s web interface