[논문 리뷰] Both eyes open: Vigilant Incentives help Regulatory Markets improve AI Safety

Paolo Bova, Alessandro Di Stefano외 1명|arXiv (Cornell University)|2023. 03. 06.

Experimental Behavioral Economics Studies인용 수 4

한 줄 요약

이 논문은 정부가 결과 기반 목표를 설정하고 AI 기업이 민간 감시 기관을 고용하여 준수 여부를 입증하도록 하는 AI 안전을 위한 규제 시장 모델을 제안한다. 진화 게임 이론을 활용해 '경계 경제적 인센티브'(감시 기관이 위험한 행동을 탐지하지 못했을 경우에만 보상이 지급되지 않는 인센티브)가 위험한 AI 개발을 효과적으로 억제하는 반면, '보상 경제적 인센티브'(위험한 행동이 탐지된 경우에만 보상이 지급되는 인센티브)는 시장의 안정성을 해칠 수 있음을 밝혀낸다.

ABSTRACT

In the context of rapid discoveries by leaders in AI, governments must consider how to design regulation that matches the increasing pace of new AI capabilities. Regulatory Markets for AI is a proposal designed with adaptability in mind. It involves governments setting outcome-based targets for AI companies to achieve, which they can show by purchasing services from a market of private regulators. We use an evolutionary game theory model to explore the role governments can play in building a Regulatory Market for AI systems that deters reckless behaviour. We warn that it is alarmingly easy to stumble on incentives which would prevent Regulatory Markets from achieving this goal. These 'Bounty Incentives' only reward private regulators for catching unsafe behaviour. We argue that AI companies will likely learn to tailor their behaviour to how much effort regulators invest, discouraging regulators from innovating. Instead, we recommend that governments always reward regulators, except when they find that those regulators failed to detect unsafe behaviour that they should have. These 'Vigilant Incentives' could encourage private regulators to find innovative ways to evaluate cutting-edge AI systems.

연구 동기 및 목표

• AI 개발 속도에 맞춰 유연하게 적응할 수 있는 규제 프레임워크를 설계함으로써 과도한 규제를 최소화하는 것.
• 규제 시장의 인센티브 구조가 AI 기업과 감시 기관의 전략적 행동을 유도해 안전성을 약화시킬 수 있는 위험을 다루는 것.
• 잘 설계된 인센티브를 통해 민간 감시 기관이 위험한 AI 개발을 효과적으로 억제할 수 있는지 평가하는 것.
• 특히 '보상 경제적 인센티브'와 '경계 경제적 인센티브' 간의 효과성을 비교하여 건강한 규제 시장을 유지하는 데 기여하는 인센티브 메커니즘의 효능을 평가하는 것.
• 정부의 감시가 규제 시장의 정당성과 무결성을 유지하고 규제 캡처를 방지하는 데서 수행하는 역할을 평가하는 것.

제안 방법

• 다양한 인센티브 체계 하에서 AI 기업과 민간 감시 기관 간의 상호작용을 모델링하기 위해 진화 게임 이론을 활용한다.
• 두 가지 인센티브 체계를 비교한다: '보상 경제적 인센티브'(위험한 행동이 탐지되었을 때만 보상 지급)와 '경계 경제적 인센티브'(감시 기관이 위험한 행동을 탐지하지 못했을 경우에만 보상 지급되지 않음).
• AI 기업이 민간 감시 기관의 탐지 가능성을 어떻게 평가하고 전략적 유인에 어떻게 반응하는지 분석한다.
• 위험한 AI 개발을 효과적으로 억제하기 위해 감시 기관이 확보해야 할 탐지 성능 수준을 정량화하며, 이를 시장 건강도의 핵심 지표로 간주한다.
• 인센티브 규모가 위험 감소와 과도한 규제 간 균형에 미치는 영향을 평가하고, 외부성의 크기가 큰 경우를 제외한 일반적인 상황에서는 중간 수준의 인센티브를 권장한다.
• 불확실성 하에서 특히 동적인 AI 개발 환경에서 규제 시장이 직접 정부 규제보다 더 우수한 트레이드오프 균형을 이룰 수 있음을 시각화한다.

Figure 2 : Bounty Incentives allow unsafe AI companies to exploit the presence of low-quality regulators. This Markov Chain diagram shows the transitions between states and their long-term frequencies. States are coloured blue if AI companies act safely and orange if AI companies act unsafely. The p

실험 결과

연구 질문

• RQ1 어떤 조건에서 AI 안전을 위한 규제 시장이 AI 기업의 위험한 행동을 효과적으로 억제할 수 있는가?
• RQ2 특히 '보상 경제적 인센티브'와 '경계 경제적 인센티브' 간의 다른 인센티브 체계가 민간 감시 기관의 탐지 능력과 시장 안정성에 어떤 영향을 미치는가?
• RQ3 민간 감시 기관이 위험한 AI 개발을 신뢰할 수 있는 억제력으로 작용하기 위해 어떤 수준의 탐지 능력을 확보해야 하는가?
• RQ4 인센티브 규모가 규제 시장에서 위험 감소와 과도한 규제 간 균형에 어떤 영향을 미치는가?
• RQ5 국가 간 윤리 기준과 위험 인식이 다를 경우, 규제 시장이 AI 안전 분야에서 국제적 협력을 얼마나 효과적으로 지원할 수 있는가?

주요 결과

• 감시 기관이 위험한 행동을 탐지하지 못했을 경우에만 보상이 지급되지 않는 '경계 경제적 인센티브'는 AI 기업이 탐지 가능성에 민감하기 때문에 강력한 억제 효과를 낳는다.
• 위험한 행동이 탐지되었을 때만 보상이 지급되는 '보상 경제적 인센티브'는 감시 기관이 혁신을 피하고 고보상 기회를 기다리도록 유도함으로써 규제 시장을 불안정하게 만든다.
• 모델은 감시 기관이 위험한 AI 개발을 신뢰할 수 있게 억제하기 위해 충분히 높은 탐지율을 확보해야 한다는 점을 보여주며, 탐지 성능은 시장 건강도의 핵심 지표가 된다.
• 과도한 규제를 피하기 위해 인센티브가 지나치게 과도하게 설정되어서는 안 되며, 외부성의 영향이 큰 경우를 제외한 일반적인 상황에서는 중간 수준의 인센티브를 권장한다.
• 불확실성 하에서 특히 정부가 경계적인 감시 기관으로서 기능할 경우, 규제 시장은 직접 정부 규제보다 위험 감소와 적응 가능성의 균형을 더 잘 이룹니다.
• 다양하고 경쟁적인 민간 감시 기관의 시장 구조 덕분에 규제 캡처에 더 강건하며, 공공 또는 하이브리드 감시 기관보다도 부패나 공모 위험을 줄일 수 있다.

(a) AU Frequency