[논문 리뷰] Large Language Models for Travel Behavior Prediction

Baichuan Mo, Hanyong Xu외 5명|arXiv (Cornell University)|2023. 11. 30.

Traffic Prediction and Management Techniques인용 수 6

한 줄 요약

이 연구는 학습 데이터 없이도 대규모 언어 모델(Large Language Models, LLMs)을 활용한 제로샷 프롬프팅 프레임워크를 제안하여, 과제 기술서, 개인적 특성, 이동 특성, 도메인 가이드라인에 기반한 추론를 통해 이동 수단 선택을 예측한다. 기존의 다항 로지스틱 회귀, 랜덤 포레스트, 신경망과 비교해 경쟁력 있는 정확도와 F1 점수를 달성하며, 설명 가능한 해석도 제공하지만, 때로는 환각 현상과 추론 오류가 발생한다.

ABSTRACT

Travel behavior prediction is a core problem in transportation demand management and is traditionally addressed using numerical models calibrated on observed data. With recent advances in large language models (LLMs), new opportunities have emerged to model human decision-making through natural language reasoning. This study explores the use of LLMs for travel behavior prediction through two complementary frameworks. The first framework employs a zero-shot prompting strategy, where the prediction task, traveler attributes, and relevant domain knowledge are described in text, enabling the LLM to directly generate predictions without task-specific training data. The second framework uses LLM-generated text embeddings as high-level representations of travel scenarios, which are then combined with conventional supervised learning models to support prediction in small-sample settings. Empirical results show that both approaches achieve performance comparable to, and in some cases competitive with, classical models such as multinomial logit, random forest, and neural networks. These findings suggest that LLMs offer a flexible and data-efficient alternative for travel behavior prediction.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 학습 데이터나 파rameter 校정 없이도 이동 행동을 예측할 수 있는지 조사하는 것.
• 과제 기술서, 개인적 특성, 이동 특성, 도메인 지식을 통합한 제로샷 프롬프팅 프레임워크를 개발하여 이동 수단 선택 예측에 활용하는 것.
• 기존의 지도 학습 모델(다항 로지스틱 회귀, 랜덤 포레스트, 신경망 등)과 비교하여 LLM 기반 예측의 성능을 평가하는 것.
• LLM이 생성한 설명의 해석 가능성과 추론 품질을 평가하는 것.
• 이동 결정 과제에서 LLM 출력에 나타나는 환각 현상과 논리적 일관성 결여 등의 한계를 규명하는 것.

제안 방법

• 과제 기술서, 개인적 특성(예: 정기적으로 기차를 이용하는 사람, 연간 패스 소유 여부), 이동 특성(각 수단의 이동 시간 및 비용), 도메인 가이드라인에 기반한 추론 프롬프트를 포함하는 제로샷 프롬프트를 설계한다.
• LLM(GPT-4 등)을 사용하여, 미세조정이나 학습 데이터 없이도 설계된 프롬프트에 기반해 예측과 설명을 생성한다.
• 예측 과제를 추론 문제로 재정의하여, 이동 도메인 지식을 활용해 시간과 비용 간의 상충 관계를 고려하도록 LLM을 이끌어낸다.
• 정확도 및 F1 점수와 같은 표준 지표를 사용해 모델 성능을 평가하고, 기존의 고전적 모델의 예측과 비교한다.
• LLM이 생성한 설명의 질을 정성적으로 분석하여 논리적 일관성, 관련성, 환각 현상의 존재 여부를 평가한다.
• 실제 설문 조사 데이터를 활용해 테스트 및 검증을 수행하여, 프레임워크가 실질적인 이동 행동에 기반해 있음을 보장한다.

실험 결과

연구 질문

• RQ1 LLM이 학습 데이터나 파rameter 학습 없이도 이동 수단 선택 예측에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 LLM이 생성한 설명의 품질과 타당성은 기존 고전적 모델의 예측과 어떻게 비교되는가?
• RQ3 LLM 기반의 이동 행동 예측에서 나타나는 주요 추론 오류나 환각 현상의 유형은 무엇인가?
• RQ4 프롬프트 엔지니어링은 LLM이 정확하고 설명 가능한 이동 행동 결정을 내리는 데 얼마나 효과적인가?
• RQ5 이 LLM 프레임워크는 수단 선택 외의 다른 이동 행동 예측 과제로도 일반화될 수 있는가?

주요 결과

• 학습 데이터 없이도 LLM 기반 예측이 다항 로지스틱 회귀, 랜덤 포레스트, 신경망과 비교해 경쟁력 있는 정확도와 F1 점수를 달성했다.
• 대부분의 경우 LLM은 타당성 있고 맥락에 부합하는 설명을 생성했으며, 예를 들어 이동 시간의 격차가 클 경우 시간 절약을 우선시하는 등의 이유를 제시했다.
• 어떤 경우에서는 잘못된 예측을 내놓기도 했는데, 이는 잘못된 추론 때문이었으며, 예를 들어 입력 데이터에서 어떤 근거도 없이 한 사람의 시간 절약을 우선시하는 것으로 주장했다.
• 환각 현상이 관찰되었는데, 예를 들어 입력 데이터가 반대임에도 불구하고 한 사람이 스위스메트로를 선호한다고 주장하는 식으로, 가짜 선호도를 창출했다.
• 한 경우에서 LLM은 정기적으로 기차를 이용하는 사람임에도 불구하고 연간 패스가 없음을 고려하지 않아 기차를 선택으로 예측했으며, 이는 시간과 비용 측면에서 스위스메트로가 최적임에도 불구하고 발생했다.
• 이 프레임워크는 데이터 기반 모델링에서 추론 기반 예측으로의 패러다임 전환을 보여주었으며, 모델 재학습 없이도 설명 가능성을 제공한다.