[論文レビュー] Text2Cypher: Bridging Natural Language and Graph Databases

Makbule Gülçin Özsoy, Leila Messallem+2 more|arXiv (Cornell University)|Dec 13, 2024

Semantic Web and Ontologies被引用数 5

ひとこと要約

本論文は公開ソースを統合して大規模でクリーンな Text2Cypher データセットを構築し、さまざまなモデルをベンチマークし、ファインチューニングが Cypher クエリ翻訳の精度を向上させることを示す。

ABSTRACT

Knowledge graphs use nodes, relationships, and properties to represent arbitrarily complex data. When stored in a graph database, the Cypher query language enables efficient modeling and querying of knowledge graphs. However, using Cypher requires specialized knowledge, which can present a challenge for non-expert users. Our work Text2Cypher aims to bridge this gap by translating natural language queries into Cypher query language and extending the utility of knowledge graphs to non-technical expert users. While large language models (LLMs) can be used for this purpose, they often struggle to capture complex nuances, resulting in incomplete or incorrect outputs. Fine-tuning LLMs on domain-specific datasets has proven to be a more promising approach, but the limited availability of high-quality, publicly available Text2Cypher datasets makes this challenging. In this work, we show how we combined, cleaned and organized several publicly available datasets into a total of 44,387 instances, enabling effective fine-tuning and evaluation. Models fine-tuned on this dataset showed significant performance gains, with improvements in Google-BLEU and Exact Match scores over baseline models, highlighting the importance of high-quality datasets and fine-tuning in improving Text2Cypher performance.

研究の動機と目的

• 非専門家がグラフデータベースへアクセスできるように、自然言語からCypherへの翻訳を促進する動機付け。
• 公開ソースを組み合わせて、大規模でクリーンかつ実用的なText2Cypherデータセットを作成する。
• Text2Cypherタスクに対して基礎モデルとファインチューニング済みモデルをベンチマークする。
• ファインチューニングがベースラインを上回る性能向上をもたらすことを示す。

提案手法

• 16個の公開Text2Cypherデータセットを単一の形式に集約・整合させ、フィールドは以下とする：question、schema、cypher、data_source、database_reference、instance_id。
• 手動検査、無効なクエリの除去、ローカルNeo4jデータベースでのEXPLAINを用いた構文検証によりデータをクリーンアップ。
• データを訓練セット（≈39,554）とテストセット（≈4,833）に分割し、合計44,387件として分布を分析。
• 翻訳ベースの指標（Google-BLEU）と実行ベースの指標（Exact Match）を用いて、ベースラインおよびファインチューニング済みモデルの範囲をベンチマークする。
• 新しいデータセット上で選択したモデルをファインチューニングし、ベースラインと比較して利益を定量化する。

Figure 1: User wants to write a Cypher query for ‘What are the movies of Tom Hanks‘. A Text2Cypher model translates the input natural language question into Cypher, i.e., ‘MATCH (actor:Person {name: "Tom Hanks"})-[:ACTED_IN]->(movie:Movie) RETURN movie.title AS movies‘

実験結果

リサーチクエスチョン

• RQ1 大規模で統一されたText2Cypherデータセットは、自然言語からCypherへの翻訳モデルの性能を改善できるか？
• RQ2 ファインチューニング済みモデルは、Text2Cypher翻訳および実行指標でベースラインを上回るか？
• RQ3 ファインチューニングの恩恵を最も受けるモデルファミリー（オープンウェイト・オープンファウンデーション/クローズド）はどれか？
• RQ4 Text2Cypherモデルにおける翻訳ベース評価と実行ベース評価はどのように異なるか？

主な発見

• 最終データセットは44,387件のインスタンスを含み、訓練40,000件超、テスト4,833件を含む。
• ファインチューニング済みモデルは、Google-BLEUとExact Matchの指標で一貫してベースラインより上回る。
• ベースラインの中ではOpenAI/GPT-4oとGemini-1.5-Pro-001が特定の設定で性能をリードし、大型モデルほど一般に良好な性能を示した。
• ファインチューニング済みモデルでは、ベースラインに対して最大約0.34のGoogle-BLEUと約0.11のExact Matchの改善を含む。
• 最高のファインチューニング結果はFinetuned-OpenAI/Gpt4o、Finetuned-OpenAI/Gpt4o-mini、Finetuned-GoogleAIStudio/Gemini-1.5-Flash-001によって達成された。
• データセットとファインチューニング手法は、Text2Cypherにおける高品質データとファインチューニングの重要性を示している。

Figure 2: Relational databases uses SQL-based query languages, while Graph databases commonly uses Cypher query language. The figure shows an example representation of Person, Location, Gender and Marriage entities and relationships on a relational and graph database.