[논문 리뷰] Open-Sourcing Highly Capable Foundation Models: An evaluation of risks, benefits, and alternative methods for pursuing open-source objectives

Elizabeth Seger, Noemi Dreksler외 20명|arXiv (Cornell University)|2023. 09. 29.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 고성능 기초 모델을 오픈소스화할 경우 발생할 수 있는 위험과 이점에 대해 평가하며, 일부 고도로 발달한 모델의 경우 생물학적 또는 사이버 공격과 같은 극단적 위험 요소가 오픈소스화의 이점을 초월할 수 있다고 주장한다. 이 논문은 위험 기반 접근법을 제안하며, 위험 최소화를 위해 모델 배포 결정을 신중히 내리고, 접근 제한된 접근 방식이나 연구용 API와 같은 대안적 공유 방법을 통해 개방성을 유지할 것을 권장한다.

ABSTRACT

Recent decisions by leading AI labs to either open-source their models or to restrict access to their models has sparked debate about whether, and how, increasingly capable AI models should be shared. Open-sourcing in AI typically refers to making model architecture and weights freely and publicly accessible for anyone to modify, study, build on, and use. This offers advantages such as enabling external oversight, accelerating progress, and decentralizing control over AI development and use. However, it also presents a growing potential for misuse and unintended consequences. This paper offers an examination of the risks and benefits of open-sourcing highly capable foundation models. While open-sourcing has historically provided substantial net benefits for most software and AI development processes, we argue that for some highly capable foundation models likely to be developed in the near future, open-sourcing may pose sufficiently extreme risks to outweigh the benefits. In such a case, highly capable foundation models should not be open-sourced, at least not initially. Alternative strategies, including non-open-source model sharing options, are explored. The paper concludes with recommendations for developers, standard-setting bodies, and governments for establishing safe and responsible model sharing practices and preserving open-source benefits where safe.

연구 동기 및 목표

• 고성능 기초 모델을 오픈소스화할 경우 투명성과 협업의 이점보다 수용할 수 없는 위험이 발생할 수 있는지 평가하기.
• 오픈소스화가 악성 사용을 촉진할 수 있는 잠재적 위험, 예를 들어 무기 개발이나 광범위한 허위정보 유포와 같은 극단적 위험을 증가시킬 수 있는 방식을 분석하기.
• 모델 가중치를 완전히 공개하지 않으면서도 오픈소스의 목표를 달성할 수 있는 더 안전한 대안적 방법, 예를 들어 단계적 배포, 연구용 API, 보안 협업 등을 탐색하기.
• 개발자, 규제 기관, 표준 설정 기구 등에 대해 책임감 있는 모델 공유 관행을 위한 실질적인 권고 사항을 제공하기.
• 모든 모델을 일률적으로 오픈소스화하는 것에서 벗어나, 특히 사회적 영향 잠재력이 높은 모델에 대해서는 맥락에 민감하고 위험을 고려한 결정 기반의 모델 배포 전략으로의 전환을 주장하기.

제안 방법

• 오픈소스화 대비 제한적 모델 공유 방식을 비교 분석하며, 악용 시나리오에서의 공격-방어 역학을 중점적으로 다룬다.
• 악성 행위자가 안전 기능을 비활성화하거나 악의적인 목적을 위해 모델을 미세조정할 수 있도록 하는 모델 가중치 및 아키텍처 접근의 역할을 평가한다.
• 접근 제한, 연구용 API, 단계적 배포와 같은 대안적 모델 공유 메커니즘을 제안하여 투명성과 위험 완화 사이의 균형을 도모한다.
• 책임 소재 제도와 사전 배포 규제와 같은 법적 및 정책적 도구의 역할을 분석하여, 자율적 오픈소스화에만 의존하지 않고도 안전 기준을 이행할 수 있도록 한다.
• 거버넌스, AI 안전, 정책 연구 분야의 통찰을 통합하여 책임감 있는 모델 배포 결정을 위한 프레임워크를 개발한다.
• AI 능력의 발전 추세와 사례 연구를 활용하여, 점점 더 높은 능력을 지닌 모델을 오픈소스화할 경우의 향후 위험을 예측한다.

실험 결과

연구 질문

• RQ1 고성능 기초 모델을 오픈소스화할 경우, 투명성과 협업의 이점을 초월하는 위험이 발생하는 조건은 무엇인가?
• RQ2 오픈소스화가 AI 악용 시나리오에서 공격-방어 균형을 어떻게 이동시키는가? 특히 무기화, 사이버 공격, 허위정보 유포와 관련하여 설명하라.
• RQ3 오픈소스의 핵심 이점인 감시와 혁신을 유지하면서도 악용 위험을 줄일 수 있는 대안적 모델 공유 전략은 무엇인가?
• RQ4 책임 소재 및 규제 프레임워크는 어떻게 설계되어야 하며, 혁신을 억제하지 않으면서도 책임감 있는 모델 배포를 보장할 수 있는가?
• RQ5 개발자와 규제 기관이 고성능 기초 모델을 오픈소스화하지 말아야 하는 기준은 무엇인가? 이는 심지어 매우 능력 있는 모델일지라도 마찬가지다.

주요 결과

• 고성능 기초 모델을 오픈소스화할 경우, 생물학적 또는 화학 무기 개발이나 광범위한 사이버 공격을 가능하게 하는 극단적 위험 요소가 발생할 수 있으며, 이는 투명성과 협업의 이점을 초월할 수 있다.
• 오픈소스화는 모델 결함의 후속 확산 위험을 증가시키며, 악성 행위자가 미세조정이나 가중치 조작을 통해 안전 메커니즘을 쉽게 우회할 수 있도록 한다.
• 고도로 발달한 모델의 경우, 오픈소스화로 인해 공격 측면의 우위가 증가하여 공격-방어 균형이 공격 측면으로 기울어지고 있다. 이는 공격자가 취약점과 공격 표면에 대한 상세한 지식을 확보할 수 있기 때문이다.
• 단계적 배포, 연구용 API, 접근 제한된 접근 방식과 같은 대안적 공유 방법은 위험을 줄이면서도 오픈소스의 많은 목적을 달성할 수 있다. 다만, 이는 일반 커뮤니티의 참여를 제한할 수 있다.
• 사전 배포 안전 준수를 보장하기 위해 규제가 필요하며, 악용 사례에서 소재 규명 및 원인 관계의 어려움으로 인해 책임 소재만으로는 충분하지 않다.
• 모델 배포 결정은 종합적인 위험 평가 기반으로 이루어져야 하며, 안전 능력의 변화와 사회적 회복력의 변화에 따라 유연하게 대응되어야 한다.