[論文レビュー] Business (mis)Use Cases of Generative AI

Stephanie Houde, Vera Liao+6 more|arXiv (Cornell University)|Mar 2, 2020

Ethics and Social Impacts of AI参考文献 46被引用数 25

ひとこと要約

本稿は、AIエンジニアと共同で作成したデザイン・フィクションを通じて、生成AIのハイインパクトなビジネス悪用事例を検討し、テキスト、音声、動画生成分野における合成身元詐欺やディープフェイク操作といった現実的で深刻な脅威を明らかにした。同時に、技術的対策、規制、教育による予防戦略も同定した。

ABSTRACT

Generative AI is a class of machine learning technology that learns to generate new data from training data. While deep fakes and media-and art-related generative AI breakthroughs have recently caught people's attention and imagination, the overall area is in its infancy for business use. Further, little is known about generative AI's potential for malicious misuse at large scale. Using co-creation design fictions with AI engineers, we explore the plausibility and severity of business misuse cases.

研究の動機と目的

• 生成AIの『悪用者』視点から、現実的で深刻なビジネス分野における悪用事例を調査すること。
• AI専門家が合成コンテンツ脅威の現実性、深刻度、および対策の可能性をどのように認識しているかを理解すること。
• 金融、メディア、身元確認の分野において、生成AIがどのように大規模に悪用されるかを調査すること。
• 技術、規制、一般教育の組み合わせによる、実行可能な予防戦略を同定すること。
• 専門家の知見を統合することで、人間中心のデータ科学に貢献し、将来のAIリスクと倫理的デザインを考察すること。

提案手法

• 悪用可能なAI応用を想定したフィクション的物語（デザイン・フィクション）を用い、専門的なAIソフトウェアエンジニアと共同で探求的プローブを実施した。
• テキスト、音声、動画生成を含む、3つの半ページ分のデザイン・フィクションシナリオを提示し、共同創造の作業を実施した。
• AIエンジニアとのガイド付きディスカッションを通じて、シナリオの現実性、深刻度、悪化の可能性を評価した。
• 悪用がさらに深刻化する要因、改善の余地、有効な予防措置についての反応を収集した。
• 参加者の反応を分析し、リスク認識のパターン、および技術的・規制的・教育的対策のパターンを同定した。
• 研究者の仮定を越えた洞察を生み出すために、参加型で解釈的な手法を用い、専門家の経験に基づいた知見を得た。

実験結果

リサーチクエスチョン

• RQ1 テキスト、音声、動画分野における、生成AIの現実的で深刻なビジネス悪用事例とは何か？
• RQ2 AI専門家は、実世界のビジネス文脈において、合成コンテンツ脅威の現実性と深刻度をどのように認識しているか？
• RQ3 生成AIの悪用を悪化させる要因は何か？また、それらのリスクを緩和するメカニズムは何か？
• RQ4 技術、規制、教育のどの組み合わせが、生成AIの大規模な悪用を防ぐのに有効か？
• RQ5 生成AIが害を及える可能性を有する一方で、どのような有益な応用に再利用できるか？

主な発見

• 参加者は、合成身元詐欺や偽の医療記録作成といった深刻な悪用事例を特定した。これらは保険の不支給や財務的損失を引き起こす可能性がある。
• 人間の声をリアルに再現する能力は、環境音の偽造よりも危険であると考えられ、ソーシャル・エンジニアリングや身元偽装のリスクを高める。
• 複数の情報源を一貫して偽造できれば、証拠の検証が複雑化し、デジタルコンテンツへの信頼が損なわれるおそれがある。
• 生成AIと検出技術の間には『レース』の関係があると認識されており、検出器のトレーニングデータが豊富にあることで、将来的に検出精度が向上すると楽観視されている。
• 悪用防止に向け、データのトレーサビリティ、コンテンツのウォーターマーク、法制度整備が不可欠であると提言された。
• 有益な応用例として、感情的支援のための高齢化ポートレート生成、および言語障害のある人々の発話アクセシビリティ向上が提案された。