[논문 리뷰] Securing the Future of GenAI: Policy and Technology

Mihai Christodorescu, Ryan Craven외 12명|arXiv (Cornell University)|2024. 05. 21.

Research Data Management Practices인용 수 5

한 줄 요약

이 논문은 GenAI 정책과 기술을 연결하는 워크숍을 요약하고, 규제 환경, 위험 관리 및 정렬, 점검, 원천 증명(provenance)에 대한 기술적 접근법을 상세히 다룹니다.

ABSTRACT

The rise of Generative AI (GenAI) brings about transformative potential across sectors, but its dual-use nature also amplifies risks. Governments globally are grappling with the challenge of regulating GenAI, balancing innovation against safety. China, the United States (US), and the European Union (EU) are at the forefront with initiatives like the Management of Algorithmic Recommendations, the Executive Order, and the AI Act, respectively. However, the rapid evolution of GenAI capabilities often outpaces the development of comprehensive safety measures, creating a gap between regulatory needs and technical advancements. A workshop co-organized by Google, University of Wisconsin, Madison (UW-Madison), and Stanford University aimed to bridge this gap between GenAI policy and technology. The diverse stakeholders of the GenAI space -- from the public and governments to academia and industry -- make any safety measures under consideration more complex, as both technical feasibility and regulatory guidance must be realized. This paper summarizes the discussions during the workshop which addressed questions, such as: How regulation can be designed without hindering technological progress? How technology can evolve to meet regulatory standards? The interplay between legislation and technology is a very vast topic, and we don't claim that this paper is a comprehensive treatment on this topic. This paper is meant to capture findings based on the workshop, and hopefully, can guide discussion on this topic.

연구 동기 및 목표

• EU, US, China 및 다자간 기구를 포함한 GenAI의 국제 규제 환경을 지도하기.
• 규제 요건과 현재 GenAI 기술 역량 사이의 차이를 식별하기.
• 정책이 혁신을 저해하지 않으면서 기술 진화를 어떻게 이끌 수 있는지 탐구하기.
• 정렬, 검사 및 원천 증명을 포함한 GenAI 안전을 위한 기술적 방법 평가.
• 규제 당국과 기술 전문가들이 안전한 GenAI 배치를 위해 협력할 향후 방향 제안.

제안 방법

• EU, US, China의 규제 정책 논의와 G7 및 UN 프레임워크 같은 다자간 거버넌스 노력들을 통합적으로 분석하기.
• 모델 정렬, 모델 검사, 출력 원천 증명/워터마킹을 포함한 GenAI 안전에 대한 기술적 접근법을 논의하기.
• 인간 중심의 위험 관리의 교훈을 반영하기 위해 군사 위험 관리의 교훈을 반영하기.
• 현행 정렬 기법의 한계와 표준화된 평가 및 레드팀 벤치마크의 필요성 분석.
• 규제 목표와 기술 역량 간의 격차를 강조하는 로드맵을 개요화하고 향후 방향 제안.

Figure 1 : The software stack of GenAI-powered systems (shown here simplified to focus only on the components that can directly impact GenAI security) can have a variety of stakeholders, depending on distribution model. Data and compute providers have different leverage towards ensuring the security

실험 결과

연구 질문

• RQ1 GenAI 거버넌스에서 가장 중요한 정책 질문은 무엇인가?
• RQ2 GenAI 안전 정렬의 한계는 무엇이며 완벽한 정렬을 달성하는 것이 가능한가?
• RQ3 콘텐츠가 GenAI로 생성되었는지 탐지하는 한계는 무엇인가?
• RQ4 혁신을 저해하지 않으면서 기술 진화를 이끌 수 있도록 규제를 어떻게 설계할 수 있는가?
• RQ5 규제 기준을 충족하도록 기술을 어떻게 개발해야 하는가?

주요 결과

• EU, 미국, 중국 간 규제 접근 방식은 서로 다른 사회적·지정학적 우선순위를 반영한다.
• 다자간 거버넌스 노력(G7, UN, UNESCO, GPAI)이 안전성, 투명성, 책임성에 합의하고 있으며 협력과 표준에 중점을 두고 있다.
• 강력한 기술을 다루는 인간 중심 거버넌스, 자격, 조직 절차에 대해 군사 위험 관리가 교훈을 제공한다.
• 정렬은 근본적인 도전에 직면해 있으며 가드레일과 프롬프트 주입은 한계가 있어 제어된 게이트웨이와 사이버 보안 조치 같은 추가 제어가 필요하다.
• 규제 요건과 현재 기술 역량 사이에 뚜렷한 차이가 있어 정책 입안자와 기술 전문가의 협력된 조치가 안전성과 혁신을 함께 발전시키려면 필요하다.

Figure 2 : Deepfakes can be used to promote investment scams. This screenshot is from a deepfake video that circulated in November 2023 on social media, primarily targetting South African users, in which Bongiwe Zwane and Francis Herd from the South African Broadcasting Corporation (SABC, South Afri