[論文レビュー] RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text

Wangchunshu Zhou, Yuchen Eleanor Jiang+6 more|arXiv (Cornell University)|May 22, 2023

Topic Modeling被引用数 10

ひとこと要約

RecurrentGPT は、長期記憶と短期記憶を自然言語として格納する言語ベースの再発機構を用い、ChatGPT のような LLM とともに任意長のテキスト生成とインタラクティブな執筆を可能にします。対話型フィクションと消費者向けコンテンツのユースケースを実演します。

ABSTRACT

The fixed-size context of Transformer makes GPT models incapable of generating arbitrarily long text. In this paper, we introduce RecurrentGPT, a language-based simulacrum of the recurrence mechanism in RNNs. RecurrentGPT is built upon a large language model (LLM) such as ChatGPT and uses natural language to simulate the Long Short-Term Memory mechanism in an LSTM. At each timestep, RecurrentGPT generates a paragraph of text and updates its language-based long-short term memory stored on the hard drive and the prompt, respectively. This recurrence mechanism enables RecurrentGPT to generate texts of arbitrary length without forgetting. Since human users can easily observe and edit the natural language memories, RecurrentGPT is interpretable and enables interactive generation of long text. RecurrentGPT is an initial step towards next-generation computer-assisted writing systems beyond local editing suggestions. In addition to producing AI-generated content (AIGC), we also demonstrate the possibility of using RecurrentGPT as an interactive fiction that directly interacts with consumers. We call this usage of generative models by ``AI As Contents'' (AIAC), which we believe is the next form of conventional AIGC. We further demonstrate the possibility of using RecurrentGPT to create personalized interactive fiction that directly interacts with readers instead of interacting with writers. More broadly, RecurrentGPT demonstrates the utility of borrowing ideas from popular model designs in cognitive science and deep learning for prompting LLMs. Our code is available at https://github.com/aiwaves-cn/RecurrentGPT and an online demo is available at https://www.aiwaves.org/recurrentgpt.

研究の動機と目的

• 長文生成のための Transformer ベースの LLM の固定サイズのコンテキスト制限に対処する。
• 自然言語の記憶とプロンプトを用いる言語ベースの再発の代理手法を導入する。
• バックボーンの LLM のアーキテクチャ変更を伴わず、対話的で解釈可能かつカスタマイズ可能な長文生成を実現する。
• 対話型執筆、個別化された対話型フィクション、AIをコンテンツとしての相互作用などの応用をデモンストレーションする。

提案手法

• LSTM様の要素（コンテンツ、計画、短期記憶、長期記憶）を自然言語の段落と要約として表現する。
• 長期記憶をディスク上の埋め込みコンテンツの VectorDB として保存し、GPU メモリ制限を超える。
• プロンプトテンプレートを用いて LSTM の再帰計算グラフを模倣し、新しいコンテンツ、次セクションの計画、更新された記憶を生成する。
• タイムステップごとに複数の生成計画を提供してユーザーの選択と対話を支援する。
• 自律的な長文生成のために計画を選択・修正する人間を介在させるシミュレータを組み込む。
• ChatGPT/GPT-4 をバックボーンとして統合し、Rolling-ChatGPT、RE3、DOC などのベースラインと比較するデモを示す。

Figure 1: Illustration of the RecurrentGPT framework. RecurrentGPT enables recurrent prompting with LLMs by simulating an RNN using natural language building blocks and defines the recurrent computation graph with prompts.

実験結果

リサーチクエスチョン

• RQ1 言語ベースの再発機構は、固定コンテキストウィンドウを超えた真に長文の生成を可能にするか。
• RQ2 意味的検索でディスク上に長期記憶を保存することは、数千トークンに及ぶ整合性を保つか。
• RQ3 計画と記憶を介した対話的生成は、解釈性とライターの生産性を向上させるか。
• RQ4 階層的長文システムおよび rolling-context ベースラインと比べて、整合性と興味深さの点で RecurrentGPT はどうか。

主な発見

• RecurrentGPT は rolling-context ベースラインや従来の長文手法と比較して、はるかに長く整合性のあるテキストを生成する。
• 長期記憶と短期記憶は整合性に大きく寄与し、GPT-4 バックボーンは ChatGPT や GPT-3.5 よりも高い性能を示す。
• このアプローチは自律的な長文生成とインタラクティブな執筆を可能にし、複数の生成計画がユーザーの選択と編集を支援する。
• 人間の評価では、ジャンル（SF、ロマンス、ファンタジー、ホラー、ミステリー、スリラー）全般で、長さも約6000語程度の RecurrentGPT が有利であった。
• より強力なバックボーン LLM（GPT-4）は、アブレーション分析において軽量なバックボーンより性能を大幅に向上させる。
• 実験ではインタラクティブフィクション形式や消費者向け AI をコンテンツとしての活用も検討する。

Figure 2: Qualitative analysis of using RecurrentGPT as an interactive writing assistant and an interactive fiction. Highlighted plans or choices are that selected by human users.