[論文レビュー] Optimizing RAG Techniques for Automotive Industry PDF Chatbots: A Case Study with Locally Deployed Ollama Models

Fei Liu, Zejun Kang+1 more|arXiv (Cornell University)|Aug 12, 2024

AI in Service Interactions被引用数 4

ひとこと要約

本稿では、自動車分野のPDFチャットボットにおけるローカルOllamaデプロイ済みLLM向けに、リトリーブ増強生成（RAG）の多次元最適化を提案する。技術文書向けにPDFパース、リトリーブ、コンテキスト圧縮を強化することで、文脈の正確性、再現率、回答の信頼性が著しく向上した。LangchainのカスタムコンポーネントとLangGraphのベストプラクティスに準拠した自己RAGエージェントを用いることで、特許取得済みの自動車データセットにおいて顕著な向上が達成された。

ABSTRACT

With the growing demand for offline PDF chatbots in automotive industrial production environments, optimizing the deployment of large language models (LLMs) in local, low-performance settings has become increasingly important. This study focuses on enhancing Retrieval-Augmented Generation (RAG) techniques for processing complex automotive industry documents using locally deployed Ollama models. Based on the Langchain framework, we propose a multi-dimensional optimization approach for Ollama's local RAG implementation. Our method addresses key challenges in automotive document processing, including multi-column layouts and technical specifications. We introduce improvements in PDF processing, retrieval mechanisms, and context compression, tailored to the unique characteristics of automotive industry documents. Additionally, we design custom classes supporting embedding pipelines and an agent supporting self-RAG based on LangGraph best practices. To evaluate our approach, we constructed a proprietary dataset comprising typical automotive industry documents, including technical reports and corporate regulations. We compared our optimized RAG model and self-RAG agent against a naive RAG baseline across three datasets: our automotive industry dataset, QReCC, and CoQA. Results demonstrate significant improvements in context precision, context recall, answer relevancy, and faithfulness, with particularly notable performance on the automotive industry dataset. Our optimization scheme provides an effective solution for deploying local RAG systems in the automotive sector, addressing the specific needs of PDF chatbots in industrial production environments. This research has important implications for advancing information processing and intelligent production in the automotive industry.

研究の動機と目的

• 計算リソースが限られた自動車生産環境において、信頼性の高いオフラインLLM搭載チャットボットを実装する課題に取り組む。
• 自動車PDFに見られるマルチカラムレイアウトや技術的仕様といったドメイン固有の文書複雑性に対処する。
• ローカルにデプロイされたLLMを活用した産業文書向けに最適化されたRAGパイプラインにおいて、リトリーブと生成の品質を向上させる。
• LangGraphのベストプラクティスに準拠した自己RAGエージェントの設計と評価を通じて、文脈的推論力と回答の正確性を強化する。
• 技術報告書および規格書の特許取得済みデータセットを用いて、自動車分野におけるローカルRAGパフォーマンスのベンチマークを確立する。

提案手法

• PDF処理および埋め込みパイプライン用のカスタムコンポonentを備えたモジュラーRAGパイプラインを実装するため、Langchainフレームワークを活用した。
• レイアウトに配慮した技術を用いてPDFパースを強化し、自動車文書のマルチカラム構造や技術的コンテンツを保持した。
• 技術用語と文書構造に特化したハイブリッドリトリーブ戦略を組み合わせたベクトル類似度検索により、リトリーブを最適化した。
• LLM生成に必要な情報を保持しつつ、トークンのオーバーヘッドを削減するため、コンテキスト圧縮技術を適用した。
• クエリ解決中に繰り返し推論と動的コンテキストの最適化を可能にするために、LangGraphを用いた自己RAGエージェントを設計した。
• 産業環境におけるデータプライバシーと低遅延推論を確保するため、ローカルデプロイでOllamaホステッドLLMを統合した。

実験結果

リサーチクエスチョン

• RQ1 ローカルにデプロイされたLLMを用いて、技術的仕様を含む複雑なマルチカラム自動車PDFに対して、RAGシステムをどのように最適化できるか？
• RQ2 コンテキスト圧縮とリトリーブ強化は、産業文書チャットボットにおける回答の正確性と再現率をどの程度向上させるか？
• RQ3 LangGraphに準拠した自己RAGエージェントは、複数ターンで文脈が複雑なクエリに対して、標準的なRAGベースラインをどの程度上回るか？
• RQ4 RAGパイプラインにドメイン固有の最適化を適用することで、信頼性と関連性の向上にどの程度のパフォーマンス向上が達成できるか？
• RQ5 最適化されたRAGおよび自己RAGモデルは、特許取得済み自動車データセット、QReCC、CoQAデータセットを含む多様なベンチマークで、どのように比較されるか？

主な発見

• 最適化されたRAGモデルは、ナイーブなRAGベースラインと比較して、特許取得済み自動車データセットにおいて顕著に高い文脈の正確性と再現率を達成した。
• 特に技術的仕様や複数部品構成の文書構造を含む複雑なクエリにおいて、回答の関連性と信頼性の指標が著しく向上した。
• 自己RAGエージェントは、段階的な推論能力を向上させ、複数ステップおよび文脈依存のクエリを処理する能力に明確な改善が見られた。
• パフォーマンス向上は自動車固有のデータセットで最も顕著であり、レイアウトに配慮したパースとリトリーブによる強力なドメイン適応が示された。
• ローカルデプロイにおいても高い効率性と低遅延を維持したため、産業生産環境におけるリアルタイム利用の可能性が裏付けられた。
• QReCCおよびCoQAにおける定量的評価では一貫した改善が確認されたが、最も顕著な向上はドメイン固有のデータセットで観察された。