[論文レビュー] Reducing malicious use of synthetic media research: Considerations and potential release practices for machine learning

Aviv Ovadya, Jess Whittlestone|arXiv (Cornell University)|Jul 25, 2019

Explainable Artificial Intelligence (XAI)参考文献 7被引用数 12

ひとこと要約

本論文は、合成メディア分野における機械学習研究の公開を、悪意ある使用を低減するための洗練されたフレームワークを提唱する。公開のあり方を、一括的オープンまたは秘密主義ではなく、文脈に応じた専門家による意思決定に基づくものにすべきだと主張する。リスク低減戦略を提示し、影響評価のためのコミュニティ規範を推進し、イノベーションと社会的安心の両立を図るための研究発信のための制度的支援を提言する。

ABSTRACT

The aim of this paper is to facilitate nuanced discussion around research norms and practices to mitigate the harmful impacts of advances in machine learning (ML). We focus particularly on the use of ML to create "synthetic media" (e.g. to generate or manipulate audio, video, images, and text), and the question of what publication and release processes around such research might look like, though many of the considerations discussed will apply to ML research more broadly. We are not arguing for any specific approach on when or how research should be distributed, but instead try to lay out some useful tools, analogies, and options for thinking about these issues. We begin with some background on the idea that ML research might be misused in harmful ways, and why advances in synthetic media, in particular, are raising concerns. We then outline in more detail some of the different paths to harm from ML research, before reviewing research risk mitigation strategies in other fields and identifying components that seem most worth emulating in the ML and synthetic media research communities. Next, we outline some important dimensions of disagreement on these issues which risk polarizing conversations. Finally, we conclude with recommendations, suggesting that the machine learning community might benefit from: working with subject matter experts to increase understanding of the risk landscape and possible mitigation strategies; building a community and norms around understanding the impacts of ML research, e.g. through regular workshops at major conferences; and establishing institutions and systems to support release practices that would otherwise be onerous and error-prone.

研究の動機と目的

• 機械学習を用いた合成メディア（特にディープフェイクやAI生成の誤情報）の悪意ある使用に関する懸念が高まる中、そのリスクを軽減すること。
• 研究発信のオープン対制限の二元論的対立を、リスク分析に基づく発信方針のスケールとして位置づけ直し、多様な選択肢を提示すること。
• 研究発信の責任ある実践を可能にするためのコミュニティ規範および制度的仕組みの構築を支援すること。
• 合成メディア分野における誤情報、セキュリティ、政策分野の専門家とML研究者が連携し、現実の社会的被害を的確に理解・低減することを促進すること。
• 特に合成メディア分野の研究発信に起因する潜在的有害性のリスクを評価・管理するための構造的かつ再現可能なプロセスを確立すること。

提案手法

• 研究の危険要因を、製品、データ、注目度の3つの分類に分類し、悪用の可能性のある経路に基づく。
• バイオテクノロジーや核科学分野における二重用途研究のリスク低減戦略を、機械学習分野に適応する。
• オープン／クローズの二元論を超えた、遅延公開、制限アクセス、要約発表といった多様な発信オプションを提言する。
• 研究計画に対して専門家による影響評価を推進し、分野専門家がリスクと低減策の可能性を評価する仕組みを構築する。
• 機密性の高いモデルを安全に共有できるプロトタイプの査証システムを設計し、研究者が個別に検証を行うのを減らす。
• 影響評価を定着化し、責任ある研究実践の共通認識を醸成するための定期的ワークショップやコミュニティフォーラムを設立する。

実験結果

リサーチクエスチョン

• RQ1 合成メディア分野における機械学習研究を、悪意ある使用のリスクを最小限に抑えつつ、科学的オープンネスを保つ形でどのように発信できるか。
• RQ2 合成メディア研究に関連する主な危険要因（製品、データ、注目度）は何か。それらはリスクプロファイルにおいてどのように異なるか。
• RQ3 機械学習コミュニティは、ML研究の社会的リスクを評価・管理するための共通の規範および制度的構造をどのように構築できるか。
• RQ4 他の科学分野における二重用途研究の教訓は、合成メディア分野のML研究リスク管理にどのように応用できるか。
• RQ5 透明性、イノベーション、社会的安心の価値を両立させるために、ML研究発信のどの実践が適切か。

主な発見

• 本論文は、合成メディア分野におけるML研究の悪意ある使用を分類化するための3つの異なる危険要因（製品、データ、注目度）を特定した。
• 研究発信に関する議論が、オープンとクローズの単純な二元論ではなく、文脈に応じた多様な選択肢を含むスケールであることが示された。
• 専門家による影響評価および制度的支援の導入により、個人研究者の負担が著しく軽減されるとともに、リスク評価の正確性が向上することが分かった。
• 現在の機密モデルの要請者を検証するためのアドホックな方法は誤りを含みやすく、持続不可能であるため、スケーラブルな査証システムの導入が不可欠であることが示された。
• 本論文は、責任ある発信の実践が可能かつ必須であると結論づけ、影響評価の制度化がMLコミュニティが社会的責任を果たす上で成熟する手助けになると示した。
• リスクの誇張を避け、現実的で実行可能なリスクマッピングを実現するためには、関係コミュニティおよび専門家との前もっての関与が不可欠であると強調した。