[논문 리뷰] Embedding-based Retrieval with LLM for Effective Agriculture Information Extracting from Unstructured Data

Ruoling Peng, Kang Liu외 3명|arXiv (Cornell University)|2023. 08. 06.

Smart Agriculture and AI인용 수 22

한 줄 요약

이 논문은 도메인 특화 학습 없이 비구조화 문서에서 구조화된 농업 정보를 추출하기 위해 임베딩 기반 검색과 일반 LLM을 결합한 파이프라인 FINDER를 제안하고, 제로샷 프롬프트를 사용하여 해충 데이터를 대상으로 평가한다.

ABSTRACT

Pest identification is a crucial aspect of pest control in agriculture. However, most farmers are not capable of accurately identifying pests in the field, and there is a limited number of structured data sources available for rapid querying. In this work, we explored using domain-agnostic general pre-trained large language model(LLM) to extract structured data from agricultural documents with minimal or no human intervention. We propose a methodology that involves text retrieval and filtering using embedding-based retrieval, followed by LLM question-answering to automatically extract entities and attributes from the documents, and transform them into structured data. In comparison to existing methods, our approach achieves consistently better accuracy in the benchmark while maintaining efficiency.

연구 동기 및 목표

• 농업 정보 추출을 위한 도메인 특화 라벨링 데이터 의존도 축소.
• 비구조화된 농업 텍스트를 구조화된 JSON 엔티티 및 속성으로 변환.
• 임베딩 기반 검색과 LLM 기반 추출 및 바인딩을 결합한 파이프라인 평가.
• 일반 LLM의 제로샷 성능을 농업 IE 작업에 대해 입증.

제안 방법

• 문서를 임베딩 기반 검색을 위한 작은 세그먼트로 분할합니다.
• 중앙값 거리 필터링 전략으로 관련 텍스트 세그먼트를 선택하는 kNN 기반 검색을 사용합니다.
• 1단계: 텍스트를 수집하고 LLM이 엔티티를 설명하는 단어를 식별하도록 합니다.
• 2단계: LLM 프롬프트 및 응집을 통해 묘사 단어를 속성 유형으로 변환하여 불일치를 완화합니다.
• 3단계: LLM을 사용해 명명된 엔터티 인식(NER)을 수행하여 맥락 속 물리적 객체를 식별합니다.
• 4단계: EBR을 재사용하여 문장을 모으고 LLM이 엔티티를 속성에 바인딩하도록 하여 엔티티별 JSON을 출력합니다.

실험 결과

연구 질문

• RQ1 일반적으로 사전 학습된 LLM이 도메인 특화 학습 없이 비구조화 문서에서 구조화된 농업 정보를 추출할 수 있는가?
• RQ2 임베딩 기반 검색이 LLM이 정보 추출에 사용할 텍스트 세그먼트의 관련성을 향상시키는가?
• RQ3 제로샷 조건에서 다단계 LLM 기반 추출 파이프라인의 정확도는 어떤가요, 그리고 '수용 가능'한 답변의 개념이 보고된 지표에 어떤 영향을 미치는가?

주요 결과

• 제로샷 LLM 기반 추출은 3단계에서 높은 엔티티 추출 정확도를 달성합니다.
• '수용 가능'한 답변을 허용하면 정밀도와 재현율이 크게 증가합니다(일부 경우 최대 13% 포인트).
• 단계 2 속성 및 단계 4 바인딩은 인간 판단 및 수용 가능한 답변 기준으로 평가할 때 강력한 성능을 보입니다.
• 전체 파이프라인은 엔티티, 속성 및 설명을 포함하는 JSON 형식으로 출력되어 농업에서 구조화된 데이터 활용에 적합합니다.
• EXIT 파이프라인은 테스트 자료에서 기준 기대치를 지속적으로 상회하는 정확도 향상을 보여줍니다.