[論文レビュー] Evaluating the Effectiveness of Large Language Models in Representing Textual Descriptions of Geometry and Spatial Relations

Yuhan Ji, Song Gao|arXiv (Cornell University)|Jul 5, 2023

Geographic Information Systems Studies被引用数 7

ひとこと要約

本研究では、GPT-2 や BERT などの大規模言語モデル（LLM）が、Well-Known Text（WKT）表現から幾何的および空間的関係をどのようにエンコードするかを評価している。LLMは幾何的タイプの分類において100％の正確性を達成し、幾何的タイプを組み合わせた場合、空間述語の予測において最大73％の正確性を示すが、面積や重心、距離などの数値推定および空間的推論においては困難を示しており、トークン化と埋め込み平均化のため、定量的空間情報の保持に限界があることが示唆されている。

ABSTRACT

This research focuses on assessing the ability of large language models (LLMs) in representing geometries and their spatial relations. We utilize LLMs including GPT-2 and BERT to encode the well-known text (WKT) format of geometries and then feed their embeddings into classifiers and regressors to evaluate the effectiveness of the LLMs-generated embeddings for geometric attributes. The experiments demonstrate that while the LLMs-generated embeddings can preserve geometry types and capture some spatial relations (up to 73% accuracy), challenges remain in estimating numeric values and retrieving spatially related objects. This research highlights the need for improvement in terms of capturing the nuances and complexities of the underlying geospatial data and integrating domain knowledge to support various GeoAI applications using foundation models.

研究の動機と目的

• テキスト形式のWKT記述から幾何的および空間的関係的情報を表現するLLMの有効性を評価すること。
• LLMが生成する埋め込みが、タイプ、面積、重心、空間述語などの幾何的属性を保持できるかどうかを調査すること。
• LLMが数値的空間値を捉え、下流の空間的推論タスクを支援できる能力を評価すること。
• 特に定量的空間データの処理およびドメイン特化された地理空間知識の統合において、現在のLLMのGeoAIアプリケーションにおける限界を特定すること。

提案手法

• GISツールを用いて、WKT形式の幾何から幾何的属性（例：タイプ、面積、重心、述語、距離）を抽出する。
• 事前学習済みのLLM（GPT-2およびBERT）を用い、トランスフォーマーに基づくアーキテクチャによりWKT文字列を密なベクトル埋め込みに変換する。
• 下流タスクを実行するために、ReLU活性化関数とドロップアウトを用いた多層パーセプトロン（MLP）にLLMが生成した埋め込みを入力する。
• 分類器および回帰器を埋め込み上で学習させ、幾何的タイプ分類、面積および重心予測、空間述語認識、距離推定、位置検索などのタスクにおける性能を評価する。
• 面積および距離タスクではターゲット値に対数変換を適用し、重心タスクでは最小最大正規化を適用して学習を安定化させ、元のスケールで結果を報告する。
• 変換後および元のスケールの両方で平均二乗誤差（MSE）損失を用い、最終的な性能は元のターゲット値のスケールで報告する。

Figure 1 : The evaluation workflow of this research

実験結果

リサーチクエスチョン

• RQ1 LLMはWKT形式のテキスト記述から幾何的タイプを効果的にエンコードできるか？
• RQ2 LLMが生成する埋め込みは、面積や重心などの数値的幾何的属性をどの程度正確に推定できるか？
• RQ3 LLMは幾何の間の空間的関係（例：非交差、包含、重複）をどの程度正確に捉え、予測できるか？
• RQ4 幾何的タイプを入力に含めることで、空間述語の予測正確性は向上するか？
• RQ5 LLMの埋め込みは、位置予測や距離推定などの空間的推論タスクを支援できるか？

主な発見

• LLMは、検証およびテストセットの両方で、点（Point）、線（LineString）、多角形（Polygon）の幾何的タイプ分類において100％の正確性を達成しており、カテゴリカルな幾何的情報のエンコードが優れていることが示された。
• 面積計算においては、すべての幾何に対して平均絶対誤差率（MAPE）が10,850％、多角形のみで41.9％に達し、数値推定の著しい不正確さが明らかになった。
• LLMの埋め込みを用いた重心の導出では、平均二乗誤差（RMSE）が0.029であったが、予測された重心の多くが研究領域の外側に位置していたため、空間的局所化の誤りが生じていた。
• 幾何的タイプを入力に含めた場合、空間述語予測の正確性は72.3％に達したのに対し、入力に含めない場合の68.7％より向上しており、幾何的文脈知識の統合による性能向上が確認された。
• 非交差する幾分の距離推定では、BERTを用いた場合RMSEが0.075に達し、タスクの制限にもかかわらず数値精度が著しく低いことが示された。
• 位置予測では精度（Precision@5）がたった3％にとどまり、平均プーリングのみではLLMの埋め込みが空間的に関連するオブジェクトを適切に検索するのに不十分であることが示された。