[論文レビュー] Large Language Models for Travel Behavior Prediction

Baichuan Mo, Hanyong Xu+5 more|arXiv (Cornell University)|Nov 30, 2023

Traffic Prediction and Management Techniques被引用数 6

ひとこと要約

本研究では、学習データを必要とせず、タスクの説明、個人の属性、移動特性、ドメインガイドド推論を活用することで、トレーニングデータなしに移動モード選択を予測するゼロショットプロンプトフレームワークを提案する。大規模言語モデル（LLMs）は、多項ロジスティック回帰、ランダムフォレスト、ニューラルネットワークなどの従来のモデルと比較して、競争力のある正確性とF1スコアを達成しているが、一部のケースで幻覚や推論エラーが発生する。

ABSTRACT

Travel behavior prediction is a core problem in transportation demand management and is traditionally addressed using numerical models calibrated on observed data. With recent advances in large language models (LLMs), new opportunities have emerged to model human decision-making through natural language reasoning. This study explores the use of LLMs for travel behavior prediction through two complementary frameworks. The first framework employs a zero-shot prompting strategy, where the prediction task, traveler attributes, and relevant domain knowledge are described in text, enabling the LLM to directly generate predictions without task-specific training data. The second framework uses LLM-generated text embeddings as high-level representations of travel scenarios, which are then combined with conventional supervised learning models to support prediction in small-sample settings. Empirical results show that both approaches achieve performance comparable to, and in some cases competitive with, classical models such as multinomial logit, random forest, and neural networks. These findings suggest that LLMs offer a flexible and data-efficient alternative for travel behavior prediction.

研究の動機と目的

• 大規模言語モデル（LLMs）がトレーニングデータやパrameterのキャリブレーションを一切必要とせずに移動行動を予測できるかどうかを調査すること。
• タスクの説明、個人の属性、移動特性、ドメイン知識を統合したゼロショットプロンプトフレームワークを構築し、移動モード選択予測に応用すること。
• 多項ロジスティック回帰、ランダムフォレスト、ニューラルネットワークなどの既存の教師あり学習モデルと比較して、LLMベースの予測性能を評価すること。
• LLMが生成する説明の解釈可能性と推論の質を検証すること。
• 移動意思決定タスクにおけるLLM出力の幻覚や論理的不整合といった制限要因を同定すること。

提案手法

• 4つの要素（タスクの説明、個人の属性（例：定期利用者、年間パス所有）、移動特性（各モードごとの所要時間とコスト）、ドメインガイドド推論プロンプト）を統合したゼロショットプロンプトを設計すること。
• 微調整やトレーニングデータなしに、設計されたプロンプトに基づいてLLMs（例：GPT-4）が予測と説明を生成すること。
• 予測タスクを推論問題として定式化し、移動分野の知識を活用して時間とコストのトレードオフを重視するようにLLMを誘導すること。
• 標準的な指標（正確性とF1スコア）を用いてモデルのパフォーマンスを評価し、古典的モデルの予測と比較すること。
• LLMが生成する説明の質を定性的に分析し、論理的整合性、関連性、幻覚の有無を評価すること。
• 実世界のアンケートデータを用いてテストと検証を実施し、フレームワークが実証的な移動行動に基づいていることを保証すること。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、トレーニングデータやパrameter学習を一切行わずに、移動モード選択の予測性能を競争力を持って達成できるか？
• RQ2 LLMが生成する説明は、古典的モデルの予測と比較して、質的・論理的に優れているか？
• RQ3 LLMベースの移動行動予測において、どのような種類の推論エラーや幻覚が生じるか？
• RQ4 プロンプト工学は、LLMが正確で解釈可能な移動行動意思決定を下すのをどの程度効果的に支援できるか？
• RQ5 このLLMフレームワークは、モード選択以外の移動行動予測タスクへも一般化可能か？

主な発見

• トレーニングデータを一切使用していないにもかかわらず、LLMベースの予測は多項ロジスティック回帰、ランダムフォレスト、ニューラルネットワークと比較して、競争力のある正確性とF1スコアを達成した。
• 多くのケースで、LLMは妥当で文脈的に関連性のある説明を生成した。例えば、所要時間の差が顕著な場合には、時間の節約を優先するという説明がなされた。
• 一部のケースでは、入力データに根拠がないにもかかわらず、時間の節約を優先すると主張する誤った推論により、誤った予測がなされた。
• 幻覚が観察された。例えば、入力データに反して、ある人物がスイスムートに好意的であると虚偽に主張した。
• あるケースでは、人物が定期利用者であり年間パスを持っていないにもかかわらず、その状況を誤解した結果、最適な時間とコストのスイスムートではなく鉄道を予測した。
• このフレームワークは、データ駆動型モデリングから推論ベースの予測へのパラダイムシフトを示し、モデル再トレーニングを要せず解釈可能性を提供した。