[논문 리뷰] Optimizing RAG Techniques for Automotive Industry PDF Chatbots: A Case Study with Locally Deployed Ollama Models

Fei Liu, Zejun Kang외 1명|arXiv (Cornell University)|2024. 08. 12.

AI in Service Interactions인용 수 4

한 줄 요약

이 논문은 현지에서 Ollama로 배포된 LLM을 사용하는 자동차 PDF 채팅 봇을 위한 로컬, 다차원 최적화된 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 제안한다. 기술 문서를 위한 PDF 파싱, 검색 및 컨텍스트 압축을 향상시켜 컨텍스트 정밀도, 재현율 및 답변 신뢰성에서 뚜렷한 성과를 달성한다. 특히 전용 자동차 데이터셋에서 뛰어난 성능을 보이며, 커스터마이즈된 Langchain 컴포넌트와 LangGraph 최적 실천 방식을 활용한 자체 RAG 에이전트를 통해 성과를 끌어올렸다.

ABSTRACT

With the growing demand for offline PDF chatbots in automotive industrial production environments, optimizing the deployment of large language models (LLMs) in local, low-performance settings has become increasingly important. This study focuses on enhancing Retrieval-Augmented Generation (RAG) techniques for processing complex automotive industry documents using locally deployed Ollama models. Based on the Langchain framework, we propose a multi-dimensional optimization approach for Ollama's local RAG implementation. Our method addresses key challenges in automotive document processing, including multi-column layouts and technical specifications. We introduce improvements in PDF processing, retrieval mechanisms, and context compression, tailored to the unique characteristics of automotive industry documents. Additionally, we design custom classes supporting embedding pipelines and an agent supporting self-RAG based on LangGraph best practices. To evaluate our approach, we constructed a proprietary dataset comprising typical automotive industry documents, including technical reports and corporate regulations. We compared our optimized RAG model and self-RAG agent against a naive RAG baseline across three datasets: our automotive industry dataset, QReCC, and CoQA. Results demonstrate significant improvements in context precision, context recall, answer relevancy, and faithfulness, with particularly notable performance on the automotive industry dataset. Our optimization scheme provides an effective solution for deploying local RAG systems in the automotive sector, addressing the specific needs of PDF chatbots in industrial production environments. This research has important implications for advancing information processing and intelligent production in the automotive industry.

연구 동기 및 목표

• 제한된 컴퓨팅 자원을 가진 자동차 생산 환경에서 신뢰할 수 있고 오프라인으로 작동하는 LLM 기반 채팅 봇을 구현하는 데 도전한다.
• 다중 열 레이아웃과 자동차 PDF 내 기술 사양과 같은 도메인 특화 문서 복잡성 문제를 해결한다.
• 현지에 배포된 LLM을 활용해 산업 문서에 특화된 RAG 파이프라인의 검색 및 생성 품질을 향상시킨다.
• LangGraph 최적 실천 방식을 기반으로 한 자체 RAG 에이전트를 설계하고 평가하여 맥락적 추론 능력과 응답 정확도를 향상시킨다.
• 기술 보고서 및 규정의 전용 데이터셋을 사용해 자동차 도메인에서 로컬 RAG 성능에 대한 기준을 설정한다.

제안 방법

• PDF 처리 및 임bedding 파이프라인을 위한 커스터마이즈된 컴포넌트를 포함한 모듈식 RAG 파이프라인을 구현하기 위해 Langchain 프레임워크를 활용했다.
• 레이아웃 인식 기법을 사용해 자동차 문서의 다중 열 구조와 기술적 내용을 유지함으로써 PDF 파싱을 향상시켰다.
• 기술 용어와 문서 구조에 맞게 조정된 하이브리드 검색 전략을 통해 벡터 유사도 검색을 보완함으로써 검색을 최적화했다.
• LLM 생성에 필수적인 정보를 유지하면서 토큰 오버헤드를 줄이기 위해 컨텍스트 압축 기법을 적용했다.
• 질의 해결 과정에서 반복적 추론과 동적 컨텍스트 정제를 가능하게 하기 위해 LangGraph를 활용해 자체 RAG 에이전트를 설계했다.
• 산업 환경에서의 데이터 프라이버시 및 저지연 추론을 확보하기 위해 로컬 배포된 Ollama 호스팅 LLM을 통합했다.

실험 결과

연구 질문

• RQ1 현지에 배포된 LLM을 사용할 때, 어떻게 복잡한 다중 열 자동차 PDF와 기술 사양을 고려한 RAG 시스템을 최적화할 수 있는가?
• RQ2 컨텍스트 압축과 검색 향상 기법이 산업 문서 채팅 봇에서 답변 정밀도와 재현율에 얼마나 기여하는가?
• RQ3 LangGraph를 기반으로 한 자체 RAG 에이전트는 다중 터닝, 맥락이 풍부한 질의에서 표준 RAG 베이스라인에 비해 얼마나 뛰어난가?
• RQ4 RAG 파이프라인에 도메인 특화 최적화를 적용했을 때, 신뢰성과 관련성 향상에 어떤 성과를 낼 수 있는가?
• RQ5 최적화된 RAG 및 자체 RAG 모델은 전용 자동차 데이터셋, QReCC, CoQA 데이터셋을 포함한 다양한 벤치마크에서 어떻게 비교되는가?

주요 결과

• 최적화된 RAG 모델은 난이도 높은 기술 사양과 다중 구조를 포함한 복잡한 질의에서 기존의 단순 RAG 베이스라인 대비 전용 자동차 데이터셋에서 뚜렷한 컨텍스트 정밀도 및 재현율 향상을 보였다.
• 특히 기술 사양과 다중 부분으로 구성된 문서 구조를 포함한 복잡한 질의에서 답변의 관련성과 신뢰성이 크게 향상되었다.
• 자체 RAG 에이전트는 다단계 및 맥락 의존적 질의를 처리하는 데 있어 향상된 추론 능력을 보였다.
• 성능 향상은 자동차 전용 데이터셋에서 가장 두드러졌으며, 레이아웃 인식 기반 파싱과 검색을 통한 강력한 도메인 적응 능력을 보여주었다.
• 시스템은 로컬 배포 환경에서도 높은 효율성과 저지연을 유지하여 산업 생산 환경에서 실시간 사용 가능성에 대한 타당성을 입증했다.
• QReCC 및 CoQA에서의 정량적 결과는 일관된 성능 향상을 확인했지만, 가장 큰 성과는 도메인 특화 데이터셋에서 관찰되었다.