[논문 리뷰] The tension between openness and prudence in AI research

Jess Whittlestone, Aviv Ovadya|arXiv (Cornell University)|2019. 10. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 5인용 수 6

한 줄 요약

이 논문은 인공지능 연구에서 개방성과 신중함 사이의 갈등을 다루며, 책임감 있는 출판 규범이 과도한 과학적 공유와 악용 방지를 균형 잡는 데 필요하다고 주장한다. 연구자들이 개방성을 유지하면서도 해를 최소화하기 위해 구조적이고 기관이 지원하는 절차—예를 들어 사전 출판 위험 평가 및 조율된 공개—를 도입할 것을 제안하며, 생물윤리학과 사이버보안 분야의 모델을 참조한다.

ABSTRACT

This paper explores the tension between openness and prudence in AI research, evident in two core principles of the Montréal Declaration for Responsible AI. While the AI community has strong norms around open sharing of research, concerns about the potential harms arising from misuse of research are growing, prompting some to consider whether the field of AI needs to reconsider publication norms. We discuss how different beliefs and values can lead to differing perspectives on how the AI community should manage this tension, and explore implications for what responsible publication norms in AI research might look like in practice.

연구 동기 및 목표

• 인공지능 연구에서의 개방적 과학적 공개와 신중함 사이의 윤리적·실천적 갈등을 분석하고, 특히 잠재적 악용에 초점을 맞춘다.
• 연구 출판을 제한하는 데 대한 상이한 시각을 뒷받침하는 핵심 신념—위험 인식, 제한의 효과성, 향후 기술적 필요성—을 규명한다.
• 개방성을 유지하면서도 악용 위험을 완화할 수 있도록, 인공지능 연구의 책임감 있는 출판 규범을 기관적 메커니즘을 통해 재구성할 수 있는 방법을 탐색한다.
• 인공지능 분야의 책임감 있는 연구 관행에 대한 지속적인 논의를 위한 공동체 수준의 프레임워크와 장소를 조성할 것을 촉구한다.

제안 방법

• 몬트리올 선언의 원칙—신중함과 민주적 접근성에 중점을 두어—개방성과 신중함의 갈등을 이해하기 위해 개념적 분석을 수행한다.
• 갈등을 이끄는 세 가지 핵심 신념 집합을 식별한다: 악용 위험에 대한 신념, 제한적 배포의 효과성에 대한 신념, 향후 인공지능 능력과 필요성에 대한 신념.
• 생물학 분야의 双용 연구와 사이버보안 분야의 조율된 취약점 공개 모델을 비교하여, 인공지능 출판 거버넌스에 적합한 기관 모델을 제안한다.
• 생물의학 연구에서의 연구윤리위원회(IRB)와 유사하게 연구 수명 주기의 초도 단계에서 위험 평가를 통합하는 방식—특히 해로운 연구 방향에 대한 초기 평가—를 제안한다.
• 지연 출판이나 조건부 출판과 같은 대안적 출판 규범에 대한 실험적 시험—투명한 의사결정 과정을 동반한—을 권고한다.
• 주요 인공지능 학회에서 정기적인 워크숍과 포럼을 마련하여 공동체 참여를 장려하고, 책임감 있는 연구 관행에 대한 논의를 지속적으로 이어가야 한다고 주장한다.

실험 결과

연구 질문

• RQ1 AI 연구 출판을 제한하는 데 대한 상이한 시각을 뒷받침하는 위험, 효과성, 향후 능력에 대한 특정 신념은 무엇인가?
• RQ2 잠재적 악용에 대비해 개방성과 신중함을 균형 잡는 AI 연구의 출판 규범은 어떻게 개선될 수 있는가?
• RQ3 생물윤리학과 사이버보안 분야에서 영감을 얻은 기관적 메커니즘은 어떤 것이며, 이를 통해 책임감 있는, 조율된 AI 연구 공개를 지원할 수 있는가?
• RQ4 AI 연구의 개방성 감소가 초래할 수 있는 잠재적 해로움은 무엇이며, 이를 악용 위험을 다루는 데서도 극복할 수 있는가?
• RQ5 어떻게 하면 AI 연구의 초기 단계에서 위험 평가를 의미 있게 통합하여 고위험 방향을 막으면서도 혁신을 억제하지 않을 수 있는가?

주요 결과

• AI 연구에서의 개방성과 신중함 사이의 갈등은 본질적으로 대립적인 가치 때문이 아니라, 위험에 대한 신념, 제한의 효과성에 대한 신념, 향후 기술적 방향성에 대한 신념의 차이에서 비롯된다.
• 출판을 제한한다고 해서 반드시 악용을 방지할 수는 없으며, 결정적인 행위자들은 독립적으로 유사 모델을 재현하거나 배포할 수 있기 때문이다. 그러나 조율된 지연은 방어적 대비 조치를 취할 수 있는 시간을 제공할 수 있다.
• 개방성 감소는 고위 연구 그룹과 국가들 사이의 권력 집중을 초래할 위험이 있으며, 인공지능 발전의 공정한 접근성을 해칠 수 있다.
• 사전 출판 위험 평가 및 조율된 공개와 같은 기관화된 절차는 투명성과 합법성 확보 조건 하에서 개방성을 유지하면서도 악용 위험을 줄이는 데 도움이 될 수 있다.
• 예를 들어, 위조정보 보안 전문가 등 외부 전문가와 협력한 위협 모델링은 합성 미디어와 같은 고위험 분야에서의 위험 식별을 향상시킬 수 있다.
• 지연 출판이나 장소 수준의 정책 시범 운영과 같은 대안적 출판 규범에 대한 실험은 필수적이며, 이를 위한 전담 워크숍과 포럼이 주요 인공지능 학회에서 지원되어야 한다.