[논문 리뷰] On the Societal Impact of Open Foundation Models

Sayash Kapoor, Rishi Bommasani외 23명|arXiv (Cornell University)|2024. 02. 27.

3D Modeling in Geospatial Applications인용 수 11

한 줄 요약

이 논문은 open foundation models의 다섯 가지 차별화된 특성을 정의하고, misuse에 대한 marginal-risk 프레임워크를 개발하며, 주장된 사회적 이익과 위험을 정책과 실천에 정보를 제공하기 위해 실증적으로 근거를 두어야 한다고 주장한다.

ABSTRACT

Foundation models are powerful technologies: how they are released publicly directly shapes their societal impact. In this position paper, we focus on open foundation models, defined here as those with broadly available model weights (e.g. Llama 2, Stable Diffusion XL). We identify five distinctive properties (e.g. greater customizability, poor monitoring) of open foundation models that lead to both their benefits and risks. Open foundation models present significant benefits, with some caveats, that span innovation, competition, the distribution of decision-making power, and transparency. To understand their risks of misuse, we design a risk assessment framework for analyzing their marginal risk. Across several misuse vectors (e.g. cyberattacks, bioweapons), we find that current research is insufficient to effectively characterize the marginal risk of open foundation models relative to pre-existing technologies. The framework helps explain why the marginal risk is low in some cases, clarifies disagreements about misuse risks by revealing that past work has focused on different subsets of the framework with different assumptions, and articulates a way forward for more constructive debate. Overall, our work helps support a more grounded assessment of the societal impact of open foundation models by outlining what research is needed to empirically validate their theoretical benefits and risks.

연구 동기 및 목표

• open foundation models가 closed ones와 어떻게 다른지, 그리고 이러한 차이가 사회에 왜 중요한지 식별한다.
• key misuse 벡터에 걸친 open foundation models의 한계 악용 위험을 평가하는 프레임워크를 개발한다.
• 사회적 이익(혁신, 경쟁, 투명성 등)과 그것들이 실현되는 조건을 명시한다.
• 이익을 보다 잘 검증하고 위험을 완화하기 위한 정책 및 연구 권고안을 제공한다.

제안 방법

• open foundation models를 널리 이용 가능한 모델 가중치가 있는 것으로 정의하고 이를 닫힌 모델과 대조한다.
• open 모델의 다섯 가지 차별화된 특성들을 열거한다: broader access, greater customizability, local inference, irreversibility of access, and weaker monitoring.
• six-step risk assessment framework for marginal misuse risk(위협 식별, 기존 위험, 기존 방어책 등)을 제안한다.
• 일곱 가지 misuse 벡터(e.g., disinformation, biosecurity, cybersecurity, NCII, scams)를 대상으로 marginal risk를 평가한다.
• 프레임워크가 기존 연구의 불일치를 어떻게 명확히 하고 실증 검증을 어떻게 안내하는지 논의한다.

실험 결과

연구 질문

• RQ1 open foundation models가 closed ones와 구별되는 독특한 특성은 무엇이며, 이러한 특성이 사회적 이익과 위험으로 어떻게 번역되는가?
• RQ2 다양한 misuse 벡터에 걸쳐 open foundation models의 marginal risk를 어떻게 평가하고, 이러한 위험을 실증적으로 검증하기 위해 어떤 증거가 필요한가?
• RQ3 정책 입안자, 연구자, 개발자가 프레임워크를 활용해 안전성, 투명성, 혁신을 개선하고 피해를 완화하는 방법은 무엇인가?

주요 결과

• open foundation models는 접근을 넓히고, 맞춤화를 가능하게 하며, 로컬 추론을 지원하고, 투명성을 향상시킬 가능성이 있어 혁신과 경쟁에 영향을 준다.
• marginal-risk 프레임워크는 일부 misuse 위험이 낮아 보이는 이유와, 서로 다른 프레임워크 구성 요소에 집중해 이전 연구들이 왜 다른 결론에 도달하는지를 설명할 수 있다.
• 여러 misuse 벡터에 대해 현재 실증 증거가 약하므로, 더 근거 있는 연구가 필요함을 시사한다.
• 본 논문은 개발자, 연구자, 규제자, 정책 입안자에게 사회적 영향을 더 잘 평가하고 적절한 안전장치를 설계하기 위한 구체적 지침을 제공한다.