[論文レビュー] Low-code LLM: Graphical User Interface over Large Language Models

Yuzhe Cai, Shaoguang Mao+11 more|arXiv (Cornell University)|Apr 17, 2023

Digital Rights Management and Security被引用数 22

ひとこと要約

本論文は Low-code LLM を紹介します。Planning LLM を用いて構造化されたワークフローを生成し、Executing LLM がユーザーが確認した低コードで編集されたワークフローに従う、人間と LLM の相互作用フレームワークです。これにより、4つのシナリオにわたる制御性が高く、ユーザーに優しいタスク実行を実現します。

ABSTRACT

Utilizing Large Language Models (LLMs) for complex tasks is challenging, often involving a time-consuming and uncontrollable prompt engineering process. This paper introduces a novel human-LLM interaction framework, Low-code LLM. It incorporates six types of simple low-code visual programming interactions to achieve more controllable and stable responses. Through visual interaction with a graphical user interface, users can incorporate their ideas into the process without writing trivial prompts. The proposed Low-code LLM framework consists of a Planning LLM that designs a structured planning workflow for complex tasks, which can be correspondingly edited and confirmed by users through low-code visual programming operations, and an Executing LLM that generates responses following the user-confirmed workflow. We highlight three advantages of the low-code LLM: user-friendly interaction, controllable generation, and wide applicability. We demonstrate its benefits using four typical applications. By introducing this framework, we aim to bridge the gap between humans and LLMs, enabling more effective and efficient utilization of LLMs for complex tasks. The code, prompts, and experimental details are available at https://github.com/moymix/TaskMatrix/tree/main/LowCodeLLM. A system demonstration video can be found at https://www.youtube.com/watch?v=jb2C1vaeO3E.

研究の動機と目的

• プロンプトを編集可能なワークフローに置き換えることで、プロンプトエンジニアリングの負担を削減する。
• 低コード操作を通じてLLMの実行を形作る、ユーザーフレンドリーなビジュアルインターフェースを提供する。
• Planning and Executing LLMs を介した複雑なタスクの制御可能で構造化された実行を実証する。
• 長文生成、大規模プロジェクトの展開、タスク完了アシスタント、知識組み込みシステムなど、広範な適用性を示す。

提案手法

• 実行およびジャンプロジックを含む構造化された多段階ワークフローを設計するために Planning LLM を導入する。
• ワークフローを編集するための6つのローコード視覚プログラミング操作を定義する（ステップの追加/削除、名前/説明の変更、ジャンプロジックの変更、順序の変更、パートの拡張、再生成/確認）。
• GUI を介した直感的な編集をサポートするため、ワークフローをフローチャートとして視覚化する。
• ユーザーが確認した自然言語のワークフローを構造化フォーマットに変換し、Executing LLM に入力する。
• 一貫したフォーマットとワークフローの遵守のため、教育プロンプトを用いて Planning および Executing LLM を教育する。
• 結果が期待に沿うまで、ユーザーの改善案を使って反復し、4つのタスクカテゴリで結果をデモンストレーションする。

実験結果

リサーチクエスチョン

• RQ1 Planning LLM は、ユーザーが理解・編集できる構造化されたワークフローを、複雑なタスクに対して信頼性高く生成できるか？
• RQ2 6つの事前定義されたローコード視覚操作は、LLM の実行ロジックを効果的かつユーザーフレンドリーに編集できるか？
• RQ3 ユーザー確認済みのワークフローを適用することで、異なるタスク領域における LL M 出力の制御性と品質が向上するか？
• RQ4 Low-code LLM アプローチは、長文生成、大規模プロジェクトの開発、タスク完了アシスタント、知識を組み込んだシステムに広く適用可能か？

主な発見

• Low-code LLM は、ユーザーが確認したワークフローに従うことで、より制御可能な生成を実現する。
• GUI ベースの6操作編集パラダイムは、直感的で効率的なワークフローの修正を可能にする。
• 本フレームワークは、人間の嗜好やドメイン知識を要求するタスクをサポートし、広範なプロンプトエンジニアリングの必要性を低減する。
• 定性的なパイロットケースは、エッセイ執筆、オブジェクト指向プログラミング、仮想ホテルサービス、履歴書作成において、出力がユーザーの意図により一致することを示している。