[논문 리뷰] The Offense-Defense Balance of Scientific Knowledge: Does Publishing AI Research Reduce Misuse?

Toby Shevlane, Allan Dafoe|arXiv (Cornell University)|2019. 12. 27.

Adversarial Robustness in Machine Learning참고 문헌 11인용 수 8

한 줄 요약

이 논문은 AI 연구 공개가 오용 위험을 증가시키는지 감소시키는지 평가하기 위한 이론적 프레임워크를 개발한다. 컴퓨터 보안과는 달리, AI 분야에서는 방어자와 공격자가 모두 더 높은 수준의 대체 가능성(대체 보유)을 지니고 있기 때문에, 유출 시 보안적 이점이 더 약할 가능성이 높다는 점을 주장한다. 이는 소프트웨어 취약성 공개에서 유래한 관행을 그대로 가져오기보다는, AI의 고유한 기술적·사회적 특성에 맞는 공개 규범을 설계할 것을 AI 공동체에 촉구한다.

ABSTRACT

There is growing concern over the potential misuse of artificial intelligence (AI) research. Publishing scientific research can facilitate misuse of the technology, but the research can also contribute to protections against misuse. This paper addresses the balance between these two effects. Our theoretical framework elucidates the factors governing whether the published research will be more useful for attackers or defenders, such as the possibility for adequate defensive measures, or the independent discovery of the knowledge outside of the scientific community. The balance will vary across scientific fields. However, we show that the existing conversation within AI has imported concepts and conclusions from prior debates within computer security over the disclosure of software vulnerabilities. While disclosure of software vulnerabilities often favours defence, this cannot be assumed for AI research. The AI research community should consider concepts and policies from a broad set of adjacent fields, and ultimately needs to craft policy well-suited to its particular challenges.

연구 동기 및 목표

• AI 연구 공개의 공격-방어 균형을 검토하여, 발표가 공격자에게 방어자보다 더 유리한지를 평가한다.
• 소프트웨어 취약성 공개와 마찬가지로 AI 연구 공개 규범도 동일하게 적용해야 한다는 전제를 도전한다. 특히 취약성 공개와 관련하여.
• 공격자와 방어자의 대체 보유, 방어의 실현 가능성, 독립적 발견 가능성 등의 요소를 포함한 핵심 요인들을 규명하여, 발표가 보안을 향상시키는지 약화시키는지를 판단한다.
• 개방성과 오용 방지를 균형 잡는 데 기여할 수 있는 맥락 기반의 공개 규범을 개발하는 데 AI 연구 공동체를 안내한다.
• 발전하는 AI 능력에 따라 확장 가능한 거버넌스 메커니즘을 개발하도록 장려한다. 이는 사회적 복리 우선 원칙을 기반으로 한다.

제안 방법

• 공격-방어 역학을 기반으로 이론적 프레임워크를 수립하며, 컴퓨터 보안, 생보안, 암호학 분야의 유사 사례를 활용한다.
• 프레임워크는 방어 조치의 실현 가능성, 공격자 및 방어자의 대체 보유 수준, 독립적 발견 가능성, 보호 비용의 4가지 핵심 요소를 통해 공개의 영향을 평가한다.
• GPT-2 언어 모델 공개 사례를 분석하여 프레임워크의 실제 적용 가능성을 설명한다.
• 소프트웨어 취약성과 AI 연구 간의 차이점을 비교 분석하여, 지식 접근성과 복제 비용 측면에서의 상이점을 강조한다.
• 대규모 기술 기업이 독립적으로 방어 조치를 개발하는 데 기여하는 기관적 요소를 모델에 통합한다.
• 일괄적 규범이 아닌 맥락 기반 정책 설계의 중요성을 강조한다.

실험 결과

연구 질문

• RQ1 AI 연구 공개가 오용 위험을 줄이기보다 증가시키는 조건은 무엇인가?
• RQ2 AI 연구 공개의 공격-방어 균형은 소프트웨어 취약성 공개와 어떻게 다를까?
• RQ3 방어자들이 발표 없이도 AI 연구를 독립적으로 재현할 수 있는 정도는 어느 정도이며, 이는 공개의 보안적 가치를 어떻게 낮출 수 있는가?
• RQ4 대규모 기술 기업과 같은 기관적 주체들이 대체 방어 조치를 개발하는 데 어떤 역할을 하는가?
• RQ5 AI 능력의 진전에 따라 지속 가능하고 효과적인 공개 규범을 AI 연구 공동체가 어떻게 설계할 수 있는가?

주요 결과

• AI 연구 공개의 보안적 가치는 컴퓨터 보안 분야와 달리 더 약할 가능성이 높다. 왜냐하면 공개 시 빠른 패치 적용이 가능하기 때문이다.
• AI 오용에 대한 방어 조치, 예를 들어 탐지 시스템은 종종 비용이 많이 들며, 광범위하게 도입되지 않을 수 있어 공개의 이점이 줄어든다.
• 특히 대규모 기술 기업과 같은 많은 방어자들은 연구자들과 동일한 통찰을 독립적으로 발견할 가능성이 높아, 공개의 유일한 가치가 줄어든다.
• 국가 기반 공격자들 역시 AI 연구를 독립적으로 재현할 능력을 지닐 수 있어, 공개로 인한 오용 위험은 증가한다.
• 과학 공동체 외부에서의 독립적 발견 가능성이 높아지면, 공개의 순 보안 기여도가 감소한다. 특히 방어 조치가 시행에 비용이 많이 들 경우 더욱 그렇다.
• AI 연구 공동체는 소프트웨어 보안 규범을 그대로 수용하는 것을 피하고, AI의 독특한 기술적·사회적 특성에 맞는 거버넌스 프레임워크를 개발해야 한다.