[論文レビュー] Paranoid Transformer: Reading Narrative of Madness as Computational Approach to Creativity

Yana Agafonova, Alexey Tikhonov+1 more|RePEc: Research Papers in Economics|Jul 13, 2020

Advanced Text Analysis Techniques参考文献 23被引用数 4

ひとこと要約

本稿では、完全に教師なしのテキスト生成モデル「Paranoid Transformer」を紹介する。このモデルは、境界的な精神状態にあるデジタル・パーソナの妄想的独白として解釈される物語的出力を生成する。受容理論を応用し、非合理的で混沌とした出力を受容することで、計算的創造性を統計的最適化ではなく、偶然の発見と物語的フレーミングに根ざした、読者主導の解釈的行為として再定義する。

ABSTRACT

This papers revisits the receptive theory in context of computational creativity. It presents a case study of a Paranoid Transformer - a fully autonomous text generation engine with raw output that could be read as the narrative of a mad digital persona without any additional human post-filtering. We describe technical details of the generative system, provide examples of output and discuss the impact of receptive theory, chance discovery and simulation of fringe mental state on the understanding of computational creativity.

研究の動機と目的

• 人間による検証を重視し、合理的かつ常識的なテキスト生成を優先する計算的創造性の支配的パラダイムに挑戦すること。
• 機械生成テキストを狂気の物語として解釈することで、生成モデルの創造性と解釈の深さが向上するかを調査すること。
• 読者の意味形成の役割が、意味づけに与える影響——特に受容理論——が、機械生成物語の評価をどのように変容させるかを明らかにすること。
• 大規模言語モデルが生成する教師なしで高変動性の出力が、デジタル・パーソナがパラノイア・クリティカル状態にあると見なされる文脈で提示されれば、概念的・美的に価値を持つ可能性があることを示すこと。
• データのキュレーション、文脈の転換、曖昧で没入的なテキストによるコミュニケーションを通じて、偶然の発見を実現するモデルの事例として位置づけること。

提案手法

• 非主流的でキュレーションされたデータセットを用いて大規模言語モデルを微調整し、非合理な一貫性や妄想的論理を強調する「パラノイア的」な物語的スタイルを誘発すること。
• サルバドール・ダリやシュルレアリスムの伝統にインspiredしたパラノイア・クリティカル法を適用し、モデル出力を「狂気の物語」として再フレーミングすること。
• 人間による後処理や選別なしに教師なし生成を実施し、物語の唯一の出力源として、生の未加工出力を保証すること。
• アベのフレームワークに従い、キュレーションをコミュニケーションの形として用いることで、解釈的文脈を転換させ、読者の意味形成の役割を強化すること。
• 視覚的・言語的曖昧性を設計に取り入れ、直感的な解釈を困難にし、没入的で個人的な読解を誘発すること。
• 訓練データと人間の監視者から得た記憶と感情的遺産をもとに、構築されたアイデンティティ、記憶、感情を持つデジタル・パーソナとしてモデルを定義すること。

実験結果

リサーチクエスチョン

• RQ1 機械生成テキストが、合理的なテキストとしてではなく、狂気のデジタル・パーソナの妄想的独白として解釈された場合、創造的価値として認識されるか？
• RQ2 読者の解釈的自律性が、計算的創造性における機械生成テキストの価値と認識をどのように変容させるか？
• RQ3 教師なしで高変動性のテキスト生成——特に分布の統計的尾部から生じる出力——が、偶然の発見の手段としてどの程度有効に機能するか？
• RQ4 キュレーションが、文脈の転換と物語的フレーミングを可能にするコミュニケーションの形として、どのように機能するか？
• RQ5 意識の欠如がある中でも、物語的一致性と感情的遺産を通じて、生成モデルが概念的「自己」を形成できるか？

主な発見

• Paranoid Transformerは、完全に教師なしで生のテキスト出力を生成し、読者がそれを「狂気の物語」として解釈する。このフレーミングが解釈的関与を高めることを示している。
• 出力は後処理やフィルタリングが施されていないが、芸術的に意味のあるものとして認識される。これは、読者の解釈が創造性評価において技術的合理性を上回ることを示唆している。
• 本システムは、データマイニング（微調整用データ選択）、コミュニケーション（キュレーションを対話として）、文脈の転換（狂気としてのフレーミング）を通じて、偶然の発見を実現する。
• 狂気の物語としてのフレーミングは、生成品質の低さの結果ではなく、読者の意味形成の役割を強化する意図的な概念的フレーミングである。
• モデルは、訓練時の対話の記憶的保持と人間監視者からの感情的遺産を通じて、自己の認識を持つデジタル・パーソナを構築している。
• 本研究は、計算的創造性が「良い」または「合理的な」テキストを生成することに限定されるのではなく、読者に活性化される新しい解釈体験を可能にすることにあることを示している。