[論文レビュー] Event Segmentation Applications in Large Language Model Enabled Automated Recall Assessments

Ryan A. Panela, Alex H. Barnett+2 more|ArXiv.org|Feb 19, 2025

Business Process Modeling and Analysis被引用数 4

ひとこと要約

論文は大規模言語モデルがイベントのセグメンテーションと想起評価を自動化できることを示し、人間のセグメンテーションパターンと一致し、手動評価のスケーラブルな代替手段を提供する。

ABSTRACT

Understanding how individuals perceive and recall information in their natural environments is critical to understanding potential failures in perception (e.g., sensory loss) and memory (e.g., dementia). Event segmentation, the process of identifying distinct events within dynamic environments, is central to how we perceive, encode, and recall experiences. This cognitive process not only influences moment-to-moment comprehension but also shapes event specific memory. Despite the importance of event segmentation and event memory, current research methodologies rely heavily on human judgements for assessing segmentation patterns and recall ability, which are subjective and time-consuming. A few approaches have been introduced to automate event segmentation and recall scoring, but validity with human responses and ease of implementation require further advancements. To address these concerns, we leverage Large Language Models (LLMs) to automate event segmentation and assess recall, employing chat completion and text-embedding models, respectively. We validated these models against human annotations and determined that LLMs can accurately identify event boundaries, and that human event segmentation is more consistent with LLMs than among humans themselves. Using this framework, we advanced an automated approach for recall assessments which revealed semantic similarity between segmented narrative events and participant recall can estimate recall performance. Our findings demonstrate that LLMs can effectively simulate human segmentation patterns and provide recall evaluations that are a scalable alternative to manual scoring. This research opens novel avenues for studying the intersection between perception, memory, and cognitive impairment using methodologies driven by artificial intelligence.

研究の動機と目的

• 自然環境での人のイベント認識と想起の研究を動機づけること。その認識と記憶障害への関連性。
• LLMを用いたイベントセグメンテーションの自動化パイプラインを開発し、セグメント化されたイベントとのセマンティック類似度で想起を評価すること。
• LLMベースのセグメンテーションを人間の注釈と検証し、人間とLLMの一貫性を比較すること。
• LLMを用いた自動想起スコアリングが記憶関連研究の認知評価を拡張可能であることを示すこと。

提案手法

• 対話型完了モデルを用いて物語から自動的にイベントセグメンテーションを実行する。
• テキスト埋め込みモデルを用いてセグメント化イベントへの想起の類似度を定量化する。
• 自動セグメンテーションを人間の注釈と比較して妥当性を評価する。
• 人間のセグメンテーションとLLMセグメンテーションの一貫性を、人間同士の一貫性と比較する。
• セグメント化イベントと想起推定の間のセマンティック類似度が想起評価の指標となるフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 自然描写的なナラティブでLLMはイベント境界を正確に同定できるか。
• RQ2 LLMベースのセグメンテーションは一貫性の点で人間のセグメンテーションとどう比較されるか。
• RQ3 LLM対応フレームワークはセグメント化されたイベントのセマンティック類似度に基づく有効な想起評価を提供できるか。
• RQ4 LLMベースの想起スコアリングは手動スコアリングの代替として有効で、妥当性を損なわずスケールできるか。

主な発見

• LLMsはナラティブのイベント境界を正確に同定できる。
• 人間のセグメンテーションは他の人間よりLLMとより一貫性がある。
• セマンティック類似度を用いた自動想起評価フレームワークは想起性能を推定できる。
• LLM主導の方法は、知覚・記憶・認知障害の研究において手動評価のスケールアップ可能な代替手段を提供する。