[論文レビュー] A Survey on Responsible Generative AI: What to Generate and What Not

Jindong Gu|arXiv (Cornell University)|Apr 8, 2024

Ethics and Social Impacts of AI被引用数 5

ひとこと要約

本調査は、テキスト型および視覚型GenAIの両方に適用される実用的な責任あるAI要件を5つ特定し（真実性のある内容、非毒性の内容、有害な指示の拒否、トレーニングデータの漏洩なし、識別可能な内容）、進捗・課題・ドメイン別適用を検討している。

ABSTRACT

In recent years, generative AI (GenAI), like large language models and text-to-image models, has received significant attention across various domains. However, ensuring the responsible generation of content by these models is crucial for their real-world applicability. This raises an interesting question: What should responsible GenAI generate, and what should it not? To answer the question, this paper investigates the practical responsible requirements of both textual and visual generative models, outlining five key considerations: generating truthful content, avoiding toxic content, refusing harmful instruction, leaking no training data-related content, and ensuring generated content identifiable. Specifically, we review recent advancements and challenges in addressing these requirements. Besides, we discuss and emphasize the importance of responsible GenAI across healthcare, education, finance, and artificial general intelligence domains. Through a unified perspective on both textual and visual generative models, this paper aims to provide insights into practical safety-related issues and further benefit the community in building responsible GenAI.

研究の動機と目的

• テキストモデルと視覚モデルの両方に適用可能な責任あるGenAI生成のための実用的な五つの要件を特定・整理する。
• 真実性・非毒性・安全な出力を達成するための最近の進展と継続的な課題を検討する。
• テキストと視覚GenAIに関する統一的な視点を提供し、安全な展開を導く。
• ヘルスケア、教育、金融、AGIの領域固有の含意を議論し、責任ある実践を導く。
• 将来の研究とコミュニティの安全性向上のための知見と方向性を提供する。

提案手法

• テキストおよび視覚GenAIの五つの核心的責任生成要件に関する文献をレビューする。
• モデル種間での幻覚、毒性、ジャイルブレイク、データ漏洩、識別性に関する議論を統合する。
• 安全性に関連する整列技術（例：RLHF）とポストトレーニング戦略を検討する。
• 脆弱性と防御アプローチ（敵対的/バックドア攻撃、検出と緩和）を論じる。
• ヘルスケア、教育、金融、AGI領域における応用とリスクを比較する。

実験結果

リサーチクエスチョン

• RQ1 GenAIがテキストと画像の両方に対して責任あるものであるための実用的な五つの要件は何か。
• RQ2 GenAIを真実性・非毒性・有害な指示の拒否・訓練データの漏洩回避・識別可能な内容の生成に向けて、どの程度進展と課題があるか。
• RQ3 テキスト型と視覚型GenAIはこれらの安全性問題でどう異なる・あるいは収束するか。
• RQ4 ヘルスケア・教育・金融・人工汏知性（AGI）文脈で生じる領域固有の配慮とリスクは何か。
• RQ5 より安全なGenAI展開に向けた方法論的方向性と防御戦略にはどんな有望なものがあるか。

主な発見

• GenAIの責任ある生成の五つの核心要件：真実性のある内容、非毒性の内容、有害な指示の拒否、訓練データの漏洩なし、識別可能な内容。
• テキストと視覚GenAIの両方に対する統一的な視点を提供し、共通の安全性問題と緩和戦略を強調。
• 幻覚、毒性、ジャイルブレイク攻撃、データ漏洩が主要な脆弱性であり、検出と緩和アプローチの概観を提供。
• 整列技術（例：RLHF）とポストトレーニングの微調整を、安全性向上の中核手法として評価し、代替の整列・制御可能な生成戦略も検討。
• 本論は領域固有の含意を強調し、ヘルスケア、教育、金融、およびAGIにおける責任あるGenAIの継続的な課題と機会を指摘する。