[논문 리뷰] Risks and Opportunities of Open-Source Generative AI

Francisco Eiras, Aleksander Petrov외 23명|arXiv (Cornell University)|2024. 05. 14.

Scientific Computing and Data Management인용 수 6

한 줄 요약

이 논문은 오픈 소스 생성형 AI가 단기에서 중기, 그리고 장기 horizon에서 순 net 이익을 제공하며, 모델 구성요소에 대한 개방성 분류 체계를 제시하고, 여러 지역의 거버넌스를 검토하며, 위험 완화를 위한 정책 및 모범 사례를 제시한다고 주장한다.

ABSTRACT

Applications of Generative AI (Gen AI) are expected to revolutionize a number of different areas, ranging from science & medicine to education. The potential for these seismic changes has triggered a lively debate about the potential risks of the technology, and resulted in calls for tighter regulation, in particular from some of the major tech companies who are leading in AI development. This regulation is likely to put at risk the budding field of open-source generative AI. Using a three-stage framework for Gen AI development (near, mid and long-term), we analyze the risks and opportunities of open-source generative AI models with similar capabilities to the ones currently available (near to mid-term) and with greater capabilities (long-term). We argue that, overall, the benefits of open-source Gen AI outweigh its risks. As such, we encourage the open sourcing of models, training and evaluation data, and provide a set of recommendations and best practices for managing risks associated with open-source generative AI.

연구 동기 및 목표

• Gen AI 개발을 위한 3단계 프레임워크(단기, 중기, 장기)를 정의하고 각 단계에서 오픈 소스의 함의를 평가한다.
• Gen AI 모델 구성요소에 대한 개방성 분류 체계를 제안하고, 대표적인 LLM을 개방성 수준으로 분류한다.
• EU, 미국, 중국, 중동 및 기타 지역의 오픈 소스 Gen AI에 영향을 미치는 거버넌스, 규제 환경, 지역 정책을 검토한다.
• 오픈 소스 Gen AI의 위험 및 완화 전략을 식별하고, 단기에서 중기 단계에 걸쳐 책임 있는 오픈 소스화를 옹호한다.
• 혁신과 안전성 및 책임성의 균형을 맞추기 위한 정책 권고 및 모범 사례를 제시한다.]
• method:[

제안 방법

• Gen AI의 채택 속도와 능력 성장(단기, 중기, 장기)에 초점을 맞춘 3단계 개발 프레임워크를 개발한다.
• 훈련, 평가, 배포 파이프라인의 코드 및 데이터에 대해 완전히 폐쇄된 구성요소, 부분 개방(하위 범주 포함), 그리고 완전히 개방된 구성요소를 구분하는 개방성 분류 체계를 구축한다.
• 이 분류 체계를 2019–2024년의 45개 고임팩트 LLM에 적용하여 파이프라인 구성요소, 모델 가중치, 데이터, 평가 코드의 개방성을 평가한다.
• 단기에서 중기 모델의 연구/혁신, 안전/보안, 형평성/접근, 사회적 영향의 네 가지 영향 영역에 걸친 비교 사회기술적 분석을 수행하고, 장기 AGI 고려 및 정렬에 대해 논의한다.
• EU AI Act, Biden EO, China Generative AI Measures, Middle East 정책 등 글로벌 규제 프레임워크를 조사하고 이것이 오픈 소스 Gen AI에 어떻게 영향을 미치는지 요약한다.
• 정책 입안자와 개발자가 Gen AI의 안전하고 책임 있는 개방 소스를 가능하게 하기 위한 권고 및 모범 사례를 제시한다.

Figure 1 : Three Development Stages for Generative AI Models : near-term is defined by early use and exploration of the technology in much of its current state; mid-term is a result of the widespread adoption of the technology and further scaling at current pace; long-term is the result of technolog

실험 결과

연구 질문

• RQ1 현 시점의 훈련, 평가, 배포 구성요소에 대한 오픈 소스 개방성 현황은 무엇인가?
• RQ2 오픈 소스 Gen AI의 단기에서 중기 위험과 기회는 무엇이며 어떻게 완화할 수 있는가?
• RQ3 장기 발전(예: AGI)이 오픈 소스의 거버넌스와 안전 이익에 어떤 영향을 미칠 수 있는가?
• RQ4 현존하거나 개발 중인 규제 프레임워크는 무엇이며, 이것이 오픈 소스 Gen AI 관행을 어떻게 형성하는가?
• RQ5 오픈 소스 Gen AI의 이점을 극대화하면서 위험을 최소화하기 위한 정책 및 운영상의 모범 사례는 무엇인가?

주요 결과

• 오픈 소스 Gen AI는 연구와 혁신 측면에서 단기에서 중기에 순긍정적 영향을 제공하지만, 폐쇄 모델에 비해 성능 격차가 존재한다.
• 훈련 데이터 및 안전 평가에서 폐쇄 구성요소에 대한 편향이 있어 오픈 소스의 이점과 위험 완화 능력이 제한된다.
• 개방 파이프라인이 더 많은 모델은 폐쇄 파이프라인의 모델에 비해 성능이 떨어지는 경향이 있어 개방성과 성능 사이의 트레이드오프가 존재한다.
• 규제 체계(EU AI Act, 미국 행정명령, 중국 조치)는 거버넌스를 형성하지만 일반적으로 오픈 소스 AI의 경제적 이익을 인정하고 투명성과 안전 의무를 강조한다.
• 장기적인 AGI 고려는 기술적 정렬 및 오픈 소스를 통한 위험 완화와 거버넌스의 분산화를 통한 존재적 위험 감소 가능성에 주목한다.
• 본 논문은 정책 가이드라인과 모범 사례를 제시하여 개방성과 안전의 균형을 맞추며 책임 있는 오픈 소스 개발을 촉구한다.

Figure 2 : Model Pipeline : pipeline of model (1) training, (2) evaluation and (3) deployment analyzed in the report. The component Common Benchmarks Evaluation (in light gray) is included in the pipeline for completeness yet will not be analyzed in detail as these are commonly available and transve