[論文レビュー] The Design of an LLM-powered Unstructured Analytics System

Eric Anderson, Jonathan Fritz+12 more|arXiv (Cornell University)|Sep 1, 2024

Neural Networks and Applications被引用数 5

ひとこと要約

本論文は、LLMにより駆動されるエンドツーエンドの非構造化分析システムArynを提案する。宣言型の文書処理エンジン（Sycamore）とクエリプランナー（Luna）を搭載し、大規模な文書コレクションに対して自然言語クエリを実行する。

ABSTRACT

LLMs demonstrate an uncanny ability to process unstructured data, and as such, have the potential to go beyond search and run complex, semantic analyses at scale. We describe the design of an unstructured analytics system, Aryn, and the tenets and use cases that motivate its design. With Aryn, users specify queries in natural language and the system automatically determines a semantic plan and executes it to compute an answer from a large collection of unstructured documents. At the core of Aryn is Sycamore, a declarative document processing engine, that provides a reliable distributed abstraction called DocSets. Sycamore allows users to analyze, enrich, and transform complex documents at scale. Aryn includes Luna, a query planner that translates natural language queries to Sycamore scripts, and DocParse, which takes raw PDFs and document images, and converts them to DocSets for downstream processing. We show how these pieces come together to achieve better accuracy than RAG on analytics queries over real world reports from the National Transportation Safety Board (NTSB). Also, given current limitations of LLMs, we argue that an analytics system must provide explainability to be practical, and show how Aryn's user interface does this to help build trust.

研究の動機と目的

• 単なる検索を超えた、大規模な非構造化文書リポジトリに対する意味解析の企業ニーズを動機づける。
• ETLに似た処理と柔軟な分析を組み合わせた、宣言的で計画ベースの非構造化分析アプローチを提案する。
• LLM駆動の変換と説明を人間の介在を含む能力を備えた、スケーラブルなアーキテクチャを導入する。

提案手法

• Sycamoreを用いた文書処理とDocSetsをコアデータ抽象化として持つオープンソースシステムArynを紹介する。
• DocLayNetで訓練された視覚ベースのセグメンテーションモデル（Deformable DETR）を用いて、原始的なPDF/画像をDocSetsに変換するAryn Partitionerを説明する。
• Sycamoreによって実行される意味論的クエリ計画へ自然言語クエリを変換するプランナーLunaを紹介する。
• 文書が要素の階層木で構成され、DocSetsがマルチモーダルコンテンツとメタデータをサポートするデータモデルを説明する。
• 検知可能性とデバッグ機能を備えた、Ray上に構築されたSparkに似た遅延型分散パイプラインに基づく実行モデルを詳述する。
• Sycamoreパイプラインに統合されたLLM駆動の変換（例：llm_query、extract_properties、summarize）を概説する。

Figure 1. Aryn Architecture

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのシステムが、説明可能性と制御を維持しつつ、非構造化文書コレクションに対して複雑な分析を実行するためにLLMをどのように活用できるか？
• RQ2 多モーダルで階層的な文書設定において、ETLに似た処理を分析と整合させるにはどのようなアーキテクチャ要素が必要か？
• RQ3 LLM駆動の非構造化分析エコシステムにおいて、人間の介在アプローチは精度と信頼性を向上させうるか？

主な発見

• Arynは、自然言語を用いて意味計画を生成し、それを実行して回答を算出する、非構造化データに対するエンドツーエンドのクエリ実行を実証する。
• Deformable DETRを用いたPartitionerは、DocLayNetでのドキュメントレイアウトセグメンテーション性能（mAP 0.602、mAR 0.743）を、競合するクラウドベンダーのAPIより高く達成する（mAP 0.344、mAR 0.466）。
• Sycamoreは文書レベルの変換と、デバッグと説明可能性のための系譜付きのLLM駆動の強化を提供する。
• Lunaは、 earningsとNTSB reports のマイクロベンチマークで72%の精度を達成し、13件正解、3件妥当、2件不正解の回答を記録；あいままケースには人間の介在処理があることを認識している。
• 従来の演算子と意味論的なLLMベース演算子の組み合わせをサポートし、計画の可視化と透明性のためのJSON形式の計画を提供する。

Figure 2. Output of Aryn Partitioner (including table and cell identification) on a typical PDF NTSB accident report.