[논문 리뷰] Near to Mid-term Risks and Opportunities of Open-Source Generative AI

Francisco Eiras, Aleksandar Petrov외 22명|arXiv (Cornell University)|2024. 04. 25.

Scientific Computing and Data ManagementDecision Sciences인용 수 3

한 줄 요약

이 논문은 향후 중기적으로 생성형 AI 모델의 책임 있는 오픈소싱을 주장하며, 개방형 접근이 혁신, 안전성 연구 및 공정한 발전을 가속화한다고 주장한다. 40개의 대규모 언어 모델에 적용한 새로운 AI 개방성 분류 체계를 통해 개방형과 비개방형 모델 간의 이질적 위험과 이점을 규명하고, 투명성과 협업을 통해 사회적 이익을 극대화하면서 위험을 최소화하기 위한 기술적, 윤리적, 정책적 조치를 제안한다.

ABSTRACT

In the next few years, applications of Generative AI are expected to revolutionize a number of different areas, ranging from science & medicine to education. The potential for these seismic changes has triggered a lively debate about potential risks and resulted in calls for tighter regulation, in particular from some of the major tech companies who are leading in AI development. This regulation is likely to put at risk the budding field of open-source Generative AI. We argue for the responsible open sourcing of generative AI models in the near and medium term. To set the stage, we first introduce an AI openness taxonomy system and apply it to 40 current large language models. We then outline differential benefits and risks of open versus closed source AI and present potential risk mitigation, ranging from best practices to calls for technical and scientific contributions. We hope that this report will add a much needed missing voice to the current public discourse on near to mid-term AI safety and other societal impact.

연구 동기 및 목표

• 향후 중기적으로 생성형 AI 모델을 오픈소싱하는 것이 혁신, 안전성 연구 및 공정한 접근을 위해 필수적임을 주장하기 위해.
• 40개의 대규모 언어 모델의 현재 상태를 평가하기 위해 AI 개방성 분류 체계를 개발하고 적용하기 위해.
• 기술적, 사회적, 규제적 차원에서 개방형과 비개방형 생성형 AI 간의 위험과 이점을 비교하기 위해.
• 오픈소스 생성형 AI 개발을 위한 구체적인 위험 완화 전략, 최선의 실천 방식 및 기술 기여 사항을 식별하고 권장하기 위해.
• 오픈소스 진전을 억제할 수 있는 규제 강화 요구에 대한 근거에 기반한 균형 잡힌 대응을 제공하기 위해.

제안 방법

• 도입률과 기술 발전 수준에 따라 시간이 아닌 발전 단계에 따라 세 단계 프레임워크(단기, 중기, 장기)를 개발하여 생성형 AI 개발을 분류하기 위해.
• AI 개방성 분류 체계를 적용하여 코드, 데이터, 모델 가중치를 포함한 개방성 수준을 평가함으로써 40개의 대규모 언어 모델을 분석하기 위해.
• 모델 수명 주기를 훈련, 평가, 배포의 세 단계로 매핑하고, 주로 대규모 언어 모델에 중점을 두기 위해.
• 혁신, 안전성, 규제 리스크 등의 차원에서 개방형과 비개방형 모델 간의 비교 분석을 수행하기 위해.
• 유럽 연합, 미국, 중국, 사우디아라비아, 아랍에미리트 등 주요 지역의 글로벌 규제 환경을 평가하여 오픈소스 원칙과의 일치 여부를 분석하기 위해.
• 모델 감사, 투명성, 거버넌스 프레임워크 등을 포함한 기술적, 과학적, 정책적 권고 사항을 제안하기 위해.

Figure 1: Three Development Stages for Generative AI Models : near-term is defined by early use and exploration of the technology in much of its current stage; mid-term is a result of the widespread adoption of the technology and further scaling at current pace; long-term is the result of technologi

실험 결과

연구 질문

• RQ1 향후 중기적으로 생성형 AI 모델을 오픈소싱함에 있어 주요 위험과 이점은 무엇인가?
• RQ2 다양한 모델 간에 생성형 AI의 개방성을 체계적으로 분류하고 측정할 수 있는 방법은 무엇인가?
• RQ3 다양한 지역의 현재 규제 프레임워크는 오픈소스 생성형 AI의 개발과 배포에 어떤 영향을 미치는가?
• RQ4 강력한 생성형 모델을 오픈소싱함에 따라 발생할 수 있는 위험을 완화하기 위한 기술적 및 절차적 보안 조치는 무엇인가?
• RQ5 비개방형 대비 오픈소스 생성형 AI는 어떻게 공정한 혁신과 안전성 연구에 기여할 수 있는가?

주요 결과

• AI 개방성 분류 체계는 40개의 대규모 언어 모델을 성공적으로 분류하였으며, 많은 모델이 부분적으로는 개방되어 있지만, 가중치, 데이터, 코드 전반에 걸친 완전한 투명성의 경우 여전히 흔하지 않음을 드러냈다.
• 오픈소스 생성형 AI 모델은 비개방형 모델 대비 더 넓은 안전성 연구, 더 빠른 혁신, 더 견고한 시스템을 가능하게 한다.
• 유럽 연합과 미국의 규제 노력은 종종 오픈소스 생성형 AI를 고려하지 않아, 이 분야의 발전을 약화시킬 수 있다.
• 아랍에미리트와 사우디아라비아와 같은 국가들은 팔콘과 올람과 같은 이니셔티브를 통해 오픈소스 AI에 강력한 지원을 보이며, 오픈 혁신에 대한 글로벌 일치가 증가하고 있음을 시사한다.
• 보고서는 오픈소스 모델이 기업의 독점적 통제를 줄이고 투명성을 향상시킬 수 있지만, 강력한 위험 완화 관행과 병행되어야 한다고 밝혔다.
• 정책적 인식의 격차가 심각하게 존재하며, 대부분의 규제는 비개방형 모델과 기업의 배포에 집중되어 있어 커뮤니티 기반 개발에는 다소 간과하고 있다.

Figure 2: Model Pipeline : stages showing (1) training, (2) evaluation, and (3) deployment analyzed in the report. The component Common Benchmarks Evaluation (light gray) is included for completeness yet will not be analyzed in detail as these are standard and commonly available.