[論文レビュー] Embedding-based Retrieval with LLM for Effective Agriculture Information Extracting from Unstructured Data

Ruoling Peng, Kang Liu+3 more|arXiv (Cornell University)|Aug 6, 2023

Smart Agriculture and AI被引用数 22

ひとこと要約

本論文は FINDER を提案する。埋め込みベースの検索と一般的なLLMを組み合わせ、ドメイン特化の学習を必要とせず、未構造の文書から構造化された農業情報を抽出するパイプラインである。ゼロショットプロンプトを用いて害虫データで評価した。

ABSTRACT

Pest identification is a crucial aspect of pest control in agriculture. However, most farmers are not capable of accurately identifying pests in the field, and there is a limited number of structured data sources available for rapid querying. In this work, we explored using domain-agnostic general pre-trained large language model(LLM) to extract structured data from agricultural documents with minimal or no human intervention. We propose a methodology that involves text retrieval and filtering using embedding-based retrieval, followed by LLM question-answering to automatically extract entities and attributes from the documents, and transform them into structured data. In comparison to existing methods, our approach achieves consistently better accuracy in the benchmark while maintaining efficiency.

研究の動機と目的

• 農業情報抽出のためのドメイン特化のラベル付きデータへの依存を減らす。
• 非構造化の農業テキストを構造化されたJSONのエンティティと属性に変換する。
• 埋め込みベースの検索とLLMベースの抽出と結び付けを組み合わせたパイプラインを評価する。
• 農業IEタスクにおける一般的なLLMのゼロショット性能を示す。

提案手法

• 文書をベクトルデータベースでの埋め込みベース検索のために小さなセグメントに分割する。
• 中央値距離フィルタリング戦略を用いたkNNベースの検索で関連テキストセグメントを選択する。
• Stage 1: テキストを取り込み、LLM にエンティティを説明する記述語を特定させる。
• Stage 2: 記述語をLLMのプロンプトと集約を通じて属性タイプに変換し、一貫性の欠落を緩和する。
• Stage 3: LLMを用いてNamed Entity Recognitionを実行し、関心のあるエンティティ（文脈内の物理的な対象）を識別する。
• Stage 4: EBRを再利用して文を収集し、LLMにエンティティを属性に結び付けさせ、エンティティごとにJSONを出力する。

実験結果

リサーチクエスチョン

• RQ1 一般的な事前学習済みLLMは、ドメイン特化のトレーニングを行わずに、未構造の文書から構造化された農業情報を抽出できるか？
• RQ2 埋め込みベースの検索は、情報抽出のためにLLMが用いるテキストセグメントの関連性を高めるか？
• RQ3 ゼロショット条件下でのマルチステージLLMベース抽出パイプラインの精度はどれくらいか、また「acceptable」な回答の概念が報告指標にどう影響するか？

主な発見

• Stage 3 におけるゼロショットLLMベースの抽出は、エンティティ抽出精度が高い。
• 『acceptable』な回答を許容すると、精度と再現率が大幅に向上する（場合によっては最大13ポイント）。
• Stage 2 の属性と Stage 4 の結びつけは、人間の判断と acceptable-answer 基準で評価すると高い性能を示す。
• 全体のパイプラインは、農業における構造化データ利用に適したエンティティ、属性、および説明を含むJSONを出力する。
• EXITパイプラインは、テスト材料において基準期待値を一貫して上回る精度の改善を示す。