[논문 리뷰] Reducing malicious use of synthetic media research: Considerations and potential release practices for machine learning

Aviv Ovadya, Jess Whittlestone|arXiv (Cornell University)|2019. 07. 25.

Explainable Artificial Intelligence (XAI)참고 문헌 7인용 수 12

한 줄 요약

이 논문은 인공지능에 의한 합성 미디어 연구의 공개 방식을 개선하여 악성 사용을 줄이기 위한 세련된 프레임워크를 제안한다. 연구 공개에 대해 전면적 개방 또는 비공개의 단순한 대안이 아니라, 맥락에 민감하고 전문가의 판단을 반영한 공개 방식을 주장한다. 위험 완화 전략을 제시하고, 영향 평가를 위한 공동체 규범을 장려하며, 혁신과 사회적 안전성을 균형 있게 유지하기 위해 기관 차원의 지원을 권고한다.

ABSTRACT

The aim of this paper is to facilitate nuanced discussion around research norms and practices to mitigate the harmful impacts of advances in machine learning (ML). We focus particularly on the use of ML to create "synthetic media" (e.g. to generate or manipulate audio, video, images, and text), and the question of what publication and release processes around such research might look like, though many of the considerations discussed will apply to ML research more broadly. We are not arguing for any specific approach on when or how research should be distributed, but instead try to lay out some useful tools, analogies, and options for thinking about these issues. We begin with some background on the idea that ML research might be misused in harmful ways, and why advances in synthetic media, in particular, are raising concerns. We then outline in more detail some of the different paths to harm from ML research, before reviewing research risk mitigation strategies in other fields and identifying components that seem most worth emulating in the ML and synthetic media research communities. Next, we outline some important dimensions of disagreement on these issues which risk polarizing conversations. Finally, we conclude with recommendations, suggesting that the machine learning community might benefit from: working with subject matter experts to increase understanding of the risk landscape and possible mitigation strategies; building a community and norms around understanding the impacts of ML research, e.g. through regular workshops at major conferences; and establishing institutions and systems to support release practices that would otherwise be onerous and error-prone.

연구 동기 및 목표

• 기계학습을 통한 합성 미디어(특히 딥페이크 및 인공지능 기반 허위정보)의 악성 사용에 대한 우려가 증가하는 데 대응하기 위해.
• 연구 공개 방식에 대한 개방 vs. 제한의 이분법적 논의를 넘어서, 위험 분 析에 기반한 공개 방식의 스펙트럼을 제안하여 기계학습 공동체 내 분열을 줄이기 위해.
• 안전성과 혁신을 훼손하지 않으면서도, 책임감 있는 연구 공개를 가능하게 하는 공동체 규범과 기관적 메커니즘의 개발을 지원하기 위해.
• 합성 미디어 연구의 실제 피해를 더 잘 이해하고 완화하기 위해, 기계학습 연구자들과 허위정보, 보안, 정책 분야의 전문가 간 협력을 장려하기 위해.
• 특히 합성 미디어 분야에서 악성 사용 가능성이 있는 기계학습 연구의 위험을 평가하고 관리하기 위한 체계적이고 반복 가능한 프로세스 수립을 위해.

제안 방법

• 잠재적 악용 경로에 기반해 연구 위험 요소를 제품, 데이터, 주의 집중 유형의 세 가지 유형으로 분류하는 분류 체계 수립.
• 생물학적 기술 및 원자력 과학 분야의 이중용도 연구에서 유래한 위험 완화 전략을 기계학습 환경에 적용.
• 이중적 개방/비공개 모델 외의 다양한 공개 옵션 제안 — 지연 공개, 제한 접근, 요약 출판 등.
• 연구 제안서에 대해 전문가 영향 평가를 주장하며, 분야 전문가들이 위험과 완화 가능성 평가에 참여하도록 유도.
• 민감한 모델을 안전하게 공유하기 위한 프로토타입 검토 시스템 설계 — 연구자 개인이 수기로 확인하는 데 의존하는 것에서 벗어나기 위함.
• 정기적인 워크숍과 공동체 포럼 운영을 통해 영향 평가를 정착시키고, 책임감 있는 연구 관행에 대한 공통된 규범을 조성하기 위함.

실험 결과

연구 질문

• RQ1 합성 미디어 기반 기계학습 연구는 어떻게 공개되어야 하며, 이로 인해 악성 사용이 최소화되면서도 과학적 개방성은 유지될 수 있는가?
• RQ2 합성 미디어 연구와 관련된 주요 위험 유형(제품, 데이터, 주의 집중)은 무엇이며, 이들의 위험 프로파일은 어떻게 다를 수 있는가?
• RQ3 기계학습 공동체는 어떻게 공동체 규범과 기관적 구조를 마련하여 기계학습 연구의 사회적 위험을 평가하고 관리할 수 있는가?
• RQ4 다른 과학 분야의 이중용도 연구에서 얻을 수 있는 교훈은 합성 미디어 기반 기계학습 연구의 위험 관리에 어떻게 적용될 수 있는가?
• RQ5 기계학습 연구에서 투명성, 혁신성, 사회적 안전성의 가치를 균형 있게 유지하기 위해 어떤 공개 방식이 가능한가?

주요 결과

• 논문은 합성 미디어 연구의 악성 사용 가능성을 분류하는 데 도움이 되는 세 가지 유형의 위험 요소 — 제품, 데이터, 주의 집중 위험 — 를 규명하였다.
• 연구 공개에 대한 논의가 단순히 개방 vs. 비공개의 이원론이 아니라, 맥락에 민감한 다양한 옵션의 스펙트럼을 포함하고 있음을 입증하였다.
• 전문가 영향 평가와 기관 지원이 연구자 개인의 부담을 크게 줄이고 위험 평가 정확도를 향상시킬 수 있음을 발견하였다.
• 현재 민감한 모델 요청자를 검증하기 위한 수단으로 사용되는 비체계적 방법은 오류가 많고 지속 가능하지 않으며, 이에 따라 확장 가능한 검토 시스템의 필요성이 대두됨을 보여주었다.
• 책임감 있는 공개 방식은 실현 가능하며 필수적임을 결론 내리며, 영향 평가를 정착시키는 것이 기계학습 공동체가 사회적 책임을 다하는 데에 성숙하는 데 기여할 수 있음을 강조하였다.
• 위험 과장 방지를 위해 피해를 입을 수 있는 공동체 및 전문가와의 사전 참여가 필수적이며, 현실적이고 실행 가능한 위험 매핑을 보장하기 위해 필수적임을 강조하였다.