[논문 리뷰] Leveraging Large Language Models for Web Scraping

Aman Ahluwalia, Suhrud Wani|arXiv (Cornell University)|2024. 06. 12.

Web Data Mining and Analysis인용 수 4

한 줄 요약

이 논문은 잠재 지식 검색기와 함께 사전 훈련된 대규모 언어 모델(Large Language Models, LLMs)을 활용한 RAG 기반 프레임워크를 제안하여 웹 스크래핑에서 정확도와 해석 가능성의 향상을 도모한다. LLM과 효과적인 청크화, 검색, 순위 매기기의 조합을 통해 특수 작업에 맞는 훈련 없이 비정형 HTML에서 고정밀도의 데이터 추출을 달성하며, 다양한 LLM에서 의미 분류, 텍스트 청크화, 결과 순위 매기기 작업에서 전용 아키텍처를 능가한다.

ABSTRACT

Large Language Models (LLMs) demonstrate remarkable capabilities in replicating human tasks and boosting productivity. However, their direct application for data extraction presents limitations due to a prioritisation of fluency over factual accuracy and a restricted ability to manipulate specific information. Therefore to overcome these limitations, this research leverages the knowledge representation power of pre-trained LLMs and the targeted information access enabled by RAG models, this research investigates a general-purpose accurate data scraping recipe for RAG models designed for language generation. To capture knowledge in a more modular and interpretable way, we use pre trained language models with a latent knowledge retriever, which allows the model to retrieve and attend over documents from a large corpus. We utilised RAG model architecture and did an in-depth analysis of their capabilities under three tasks: (i) Semantic Classification of HTML elements, (ii) Chunking HTML text for effective understanding, and (iii) comparing results from different LLMs and ranking algorithms. While previous work has developed dedicated architectures and training procedures for HTML understanding and extraction, we show that LLMs pre-trained on standard natural language with an addition of effective chunking, searching and ranking algorithms, can prove to be efficient data scraping tool to extract complex data from unstructured text. Future research directions include addressing the challenges of provenance tracking and dynamic knowledge updates within the proposed RAG-based data extraction framework. By overcoming these limitations, this approach holds the potential to revolutionise data extraction from vast repositories of textual information.

연구 동기 및 목표

• LLM의 웹 스크래핑에서의 한계, 특히 사실과 맞지 않는 내용을 유창하게 생성하는 경향을 해결하기 위해.
• 사전 훈련된 LLM에 검색 보강 생성(Retrieval-Augmented Generation, RAG)을 적용할 경우, 특수 작업에 맞는 미세조정 없이도 일반 목적의 정확한 데이터 추출 도구로 활용될 수 있는지 탐색하기 위해.
• RAG 기반 LLM의 효과성을 의미 분류, 최적의 텍스트 청크화, 다양한 LLM과 알고리즘 간의 결과 순위 매기기 등 세 가지 핵심 스크래핑 작업에서 평가하기 위해.
• 대규모 코퍼스를 대상으로 잠재 지식 검색기를 사용하여 지식 표현의 모odularity와 해석 가능성 향상을 도모하기 위해.
• 미래의 RAG 기반 데이터 추출 시스템에서의 주요 과제인 출처 추적 및 동적 지식 업데이트를 규명하기 위해.

제안 방법

• 프레임워크는 대규모 코퍼스에서 잠재 지식 검색기를 사용해 관련 문서를 검색하는 RAG 모델 아키텍처를 활용하여, LLM이 맥락적으로 관련된 정보에 집중할 수 있도록 한다.
• HTML 콘텐츠는 모델의 이해도 향상과 컨텍스트 창 크기 제한 완화를 위해 의미 기반 청크화 전략을 통해 처리된다.
• 시스템은 검색된 문서에서 가장 관련성이 높은 정보를 선택하기 위해 검색 및 순위 매기기 알고리즘을 사용하여 사실적 정확도를 향상시킨다.
• 사전 훈련된 LLM은 일반 언어 이해 능력을 지닌다. 이는 검색 메커니즘이 LLM의 본질적 사실 정확도 부족을 보완하도록 한다.
• 특수 작업에 맞는 미세조정을 피하기 위해 프롬프트 엔지니어링과 검색 보강 추론에 의존하여 추출을 이끌어낸다.
• 의미 분류, 청크화, 순위 매기기 등 세 가지 핵심 작업을 다수의 LLM과 검색 전략을 사용하여 평가하여 성능과 내구성을 평가한다.

실험 결과

연구 질문

• RQ1 특수 작업에 맞는 훈련 없이 RAG 기반 LLM 파이프라인은 비정형 HTML에서 고정밀도 데이터 추출을 달성할 수 있는가?
• RQ2 LLM과 검색, 청크화 전략의 조합은 HTML 요소의 의미적 분류에 얼마나 효과적인가?
• RQ3 다양한 청크화 및 순위 매기기 알고리즘이 추출된 데이터의 해석 가능성과 정확도에 어떤 영향을 미치는가?
• RQ4 다양한 사전 훈련된 LLM은 세 가지 핵심 스크래핑 작업에서 성능 면에서 어떻게 비교되는가?
• RQ5 RAG 기반 웹 스크래핑 파이프라인에서 데이터 출처 추적 및 동적 업데이트를 유지하는 데 있어 주요 과제는 무엇인가?

주요 결과

• RAG 기반 접근 방식은 외부 지식에 기반하여 예측을 정립함으로써 표준 LLM보다 사실 정확도가 크게 향상된다.
• 효과적인 HTML 텍스트 청크화는 모델 이해도 향상에 기여하며, 의미적 요소의 일관되고 신뢰할 수 있는 분류로 이어진다.
• 검색 및 순위 매기기 알고리즘이 결과 품질을 크게 향상시키며, 최고 성능을 보이는 구성에서는 관련 데이터 필드 식별 정밀도가 높아진다.
• 이 방법은 의미 분류 및 청크화 작업에서 전용 아키텍처를 능가하며, 다양한 HTML 구조에 걸쳐 일반화 가능성을 입증한다.
• 다양한 LLM은 아키텍처와 추론 능력에 따라 성능이 다름을 보이며, 더 큰 모델일수록 정답 데이터와 더 잘 일치하는 경향을 보인다.
• 출처 추적 및 동적 지식 업데이트 유지 문제는 여전히 열려 있는 과제이며, 생산용 RAG 파이프라인에서 강화된 로깅 및 업데이트 메커니즘의 필요성을 시사한다.