[論文レビュー] Automated Speech Generation from UN General Assembly Statements: Mapping Risks in AI Generated Texts

Joseph Aylett-Bullock, Miguel Luengo-Oroz|arXiv (Cornell University)|Jun 5, 2019

Topic Modeling参考文献 11被引用数 13

ひとこと要約

本論文は、1970年から2015年までの7,507件の国連総会演説を用いて微調整されたAWD-LSTM言語モデルが、世界の指導者の風格を反映した非常に現実的で政治的に敏感なテキストを生成できる可能性を示している。研究では、このようなモデルが、論争の余りあるトピックについても一貫性があり文脈的に適切な発言を生成できることを明らかにした。これは、AI生成の誤情報、模倣、嫌がらせ発言が国際的平和と人権に与える影響を伴う深刻なリスクを示している。

ABSTRACT

Automated text generation has been applied broadly in many domains such as marketing and robotics, and used to create chatbots, product reviews and write poetry. The ability to synthesize text, however, presents many potential risks, while access to the technology required to build generative models is becoming increasingly easy. This work is aligned with the efforts of the United Nations and other civil society organisations to highlight potential political and societal risks arising through the malicious use of text generation software, and their potential impact on human rights. As a case study, we present the findings of an experiment to generate remarks in the style of political leaders by fine-tuning a pretrained AWD- LSTM model on a dataset of speeches made at the UN General Assembly. This work highlights the ease with which this can be accomplished, as well as the threats of combining these techniques with other technologies.

研究の動機と目的

• 微調整された言語モデルを用いて、国連総会演説のデータセットで学習させた場合に、政治的に現実的なテキストを生成する容易さと可能性を調査すること。
• 国際的政治的議論における自動テキスト生成が、誤情報、模倣、嫌がらせ発言の観点から生じるリスクを評価すること。
• AI生成コンテンツの悪用が政治的安定性や人権を損なう可能性を浮き彫りにすること。
• AI生成テキストに関連するリスクを軽減するための科学者および政策立案者への実行可能な提言を提供すること。
• グローバルガバナンスと多国間機関の文脈において、AI生成政治的コンテンツのスケーラビリティと現実性についての認識を高めること。

提案手法

• Wikitext-103で事前学習されたAWD-LSTM言語モデルを、1970年から2015年までの7,507件の国連総会演説データセットで微調整した。
• スパシィを用いてトークナイズし、ノイズを除去して前処理を行い、スライスを283,593段落に分割した。
• トピックのプロンプトや部分的な文を「シード」としてモデルに入力し、自動補完によって2〜5文（50〜100語）のテキストを生成した。
• 最小限の入力（トピックのみのシード）、国連事務総長の発言の自動補完、敏感な問題に関する逸脱的発言の生成という3つのシナリオでモデルのパフォーマンスを評価した。
• 事前学習済みの言語的知識を活用することで誘導的転移学習を実施し、トレーニングの複雑さとリソース要件を低減した。
• 公式で外交的なレジスタを重視し、本物の政治的スピーチのトーンと構造を反映するように生成した。

実験結果

リサーチクエスチョン

• RQ1 微調整された言語モデルは、国連総会発言者の声を模倣して、一貫性がありスタイル的に正確な政治的発言をどの程度生成できるか？
• RQ2 特に感受性の高いまたは論争の余りあるトピックに関して、本物の指導者を模倣するAI生成政治的コンテンツのリスクは何か？
• RQ3 このようなモデルが、個人やグループによって簡単に展開され、スケールアップした誤情報や嫌がらせ発言を生成できるのか？
• RQ4 AI生成テキストが多国間外交における政治的安定性、人権、機関への信頼に与える影響は何か？
• RQ5 AI生成政治的コンテンツの検出、監視、対策に必要な技術的および政策的措置は何か？

主な発見

• 微調整されたAWD-LSTMモデルは、核軍縮や国際協力といった多様なトピックについて、一貫性がありスタイル的に適切な政治的発言を生成できた。
• モデルが生成したテキストは、トーンと構造において人間が書いたスピーチと区別がつかず、最小限の入力でも非常に現実的であることが示された。
• 嫌がらせ発言や政治的対立といった感受性の高いトピックについても、妥当で文脈的に関連する内容を生成でき、悪用のリスクを示している。
• 本研究は、高品質でドメイン特化された言語モデルを構築するには最小限のリソースで十分であることを確認しており、個人レベルの実行が可能であることを示している。
• 結果から、AI生成コンテンツが、合成メディアやフェイクニュースの拡散を含む、組織的な誤情報キャンペーンに使われる可能性が浮き彫りになった。
• 研究結果は、AI生成政治的テキストのリスクに対処するため、包括的な監視、規制枠組み、多分野連携の緊急の必要性を強調している。