[논문 리뷰] Structured access: an emerging paradigm for safe AI deployment

Toby Shevlane|arXiv (Cornell University)|2022. 01. 13.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 AI를 안전하게 배포하기 위한 새로운 범주로 '구조적 액세스(structured access)'를 제안한다. 이는 모델과 소스 코드를 개방적으로 배포하는 대신, 통제된 클라우드 기반 인터페이스를 통해 사용자 상호작용을 제한하는 방식이다. 이 접근법은 역공학 및 무단 수정을 방지함으로써 오용을 제한하며, 정보 공유에만 초점을 맞춘 전통적인 발표 관행에 비해 더 효과적인 안전 전략을 제공한다.

ABSTRACT

Structured access is an emerging paradigm for the safe deployment of artificial intelligence (AI). Instead of openly disseminating AI systems, developers facilitate controlled, arm's length interactions with their AI systems. The aim is to prevent dangerous AI capabilities from being widely accessible, whilst preserving access to AI capabilities that can be used safely. The developer must both restrict how the AI system can be used, and prevent the user from circumventing these restrictions through modification or reverse engineering of the AI system. Structured access is most effective when implemented through cloud-based AI services, rather than disseminating AI software that runs locally on users' hardware. Cloud-based interfaces provide the AI developer greater scope for controlling how the AI system is used, and for protecting against unauthorized modifications to the system's design. This chapter expands the discussion of "publication norms" in the AI community, which to date has focused on the question of how the informational content of AI research projects should be disseminated (e.g., code and models). Although this is an important question, there are limits to what can be achieved through the control of information flows. Structured access views AI software not only as information that can be shared but also as a tool with which users can have arm's length interactions. There are early examples of structured access being practiced by AI developers, but there is much room for further development, both in the functionality of cloud-based interfaces and in the wider institutional framework.

연구 동기 및 목표

• 오픈 웨이트 모델과 소스 코드를 통해 강력한 AI 기능이 광범위하게 접근 가능해지는 위험 증가에 대응하기 위해.
• 정보 중심의 발표 관행에서 AI 배포의 도구 중심 모델로의 전환을 제안하기 위해.
• 클라우드 기반의 제한된 인터페이스가 오용을 방지하면서도 유용한 액세스는 유지할 수 있음을 보여주기 위해.
• 구조적 액세스를 기관적 및 기술적 안전 조치의 실현 가능한 프레임워크로 정립하기 위해.

제안 방법

• AI 모델과 소스 코드의 개방적 배포에서 응용 프로그래밍 인터페이스(API)를 통한 통제된 클라우드 호스팅 액세스로의 전환을 제안한다.
• 클라우드 배포가 액세스 제어를 강화하고 역공학 또는 무단 수정의 위험을 줄일 수 있음을 강조한다.
• 사용자가 내부 아키텍처에 직접 접근하지 않고도 AI 시스템과 상호작용할 수 있는 '거리 두기' 상호작용 개념을 도입한다.
• 구조적 액세스를 지원하는 기관적 프레임워크, 즉 거버넌스 및 준수 메커니즘을 제안한다.
• 기존의 발표 관행과의 보완 관계로, 정보의 내용뿐 아니라 AI 시스템의 도구적 성격에 초점을 맞춘 구조적 액세스를 위치시킨다.
• 기술적 및 조직적 통제 조치가 AI 배포 시 안전을 유지하는 데 중요한 역할을 한다고 강조한다.

실험 결과

연구 질문

• RQ1 AI 개발자가 유익한 액세스를 제한하지 않고도 강력한 AI 시스템의 오용을 어떻게 방지할 수 있는가?
• RQ2 현재의 발표 관행이 AI 위험을 통제하는 데 있어 어떤 한계를 지니는가?
• RQ3 클라우드 기반의 제한된 인터페이스가 AI 시스템의 역공학 및 무단 수정을 효과적으로 방지할 수 있는가?
• RQ4 안전성과 유용성 측면에서 구조적 액세스는 오픈 웨이트 모델 배포와 어떻게 비교되는가?
• RQ5 구조적 액세스의 광범위한 도입을 뒷받침하기 위해 필요한 기관적 및 기술적 프레임워크는 무엇인가?

주요 결과

• 구조적 액세스는 모델 웨이트와 내부 메커니즘에 대한 직접적 액세스를 제한함으로써 오용 위험을 줄인다.
• 클라우드 기반 배포에서는 사용 정책 이행과 악성 행동 탐지가 더 강력하게 가능해진다.
• API를 통한 액세스 제한은 사용자가 AI 시스템을 수정하거나 역공학하는 것을 방지한다.
• 이 접근법은 합법적이고 안전한 사용 사례에 대한 액세스를 유지한다.
• 구조적 액세스의 초기 사례는 존재하지만, 기술적 인터페이스와 기관 거버넌스 측면에서 추가 개발이 필요하다.
• 특히 고성능 AI 시스템에 대해서는 정보 통제만으로는 부족하며, 구조적 액세스가 더 강력한 안전 전략을 제공한다.