[논문 리뷰] Event Segmentation Applications in Large Language Model Enabled Automated Recall Assessments

Ryan A. Panela, Alex H. Barnett외 2명|ArXiv.org|2025. 02. 19.

Business Process Modeling and Analysis인용 수 4

한 줄 요약

본 논문은 대형 언어 모델이 이벤트 구분 및 기억 평가를 자동화할 수 있음을 보이며, 인간의 구분 패턴과 일치하고 수작업 점수에 대한 확장 가능한 대안을 제공한다.

ABSTRACT

Understanding how individuals perceive and recall information in their natural environments is critical to understanding potential failures in perception (e.g., sensory loss) and memory (e.g., dementia). Event segmentation, the process of identifying distinct events within dynamic environments, is central to how we perceive, encode, and recall experiences. This cognitive process not only influences moment-to-moment comprehension but also shapes event specific memory. Despite the importance of event segmentation and event memory, current research methodologies rely heavily on human judgements for assessing segmentation patterns and recall ability, which are subjective and time-consuming. A few approaches have been introduced to automate event segmentation and recall scoring, but validity with human responses and ease of implementation require further advancements. To address these concerns, we leverage Large Language Models (LLMs) to automate event segmentation and assess recall, employing chat completion and text-embedding models, respectively. We validated these models against human annotations and determined that LLMs can accurately identify event boundaries, and that human event segmentation is more consistent with LLMs than among humans themselves. Using this framework, we advanced an automated approach for recall assessments which revealed semantic similarity between segmented narrative events and participant recall can estimate recall performance. Our findings demonstrate that LLMs can effectively simulate human segmentation patterns and provide recall evaluations that are a scalable alternative to manual scoring. This research opens novel avenues for studying the intersection between perception, memory, and cognitive impairment using methodologies driven by artificial intelligence.

연구 동기 및 목표

• 자연 환경에서 사람들이 이벤트를 어떻게 인식하고 기억하는지 연구의 동기를 제시하고, 지각 및 기억 장애와의 관련성을 설명한다.
• LLMs를 사용해 이벤트 구분 자동화 파이프라인을 개발하고 구분된 사건에 대한 의미적 유사성을 통해 기억을 평가한다.
• LLM 기반 구분을 인간 주석과 검증하고 인간 간/LLM 간 일관성을 비교한다.
• 기계가 기억 관련 연구에서 인지 평가를 확장할 수 있도록 구분된 사건과 기억 추정 간의 의미적 유사성을 기억 척도로 제공하는 프레임워크를 제시한다.

제안 방법

• 대화형 기반 완성 모델을 사용해 서사에서 자동 이벤트 구분을 수행한다.
• 텍스트 임베딩 모델을 사용해 구분된 사건과의 기억 유사성을 정량화한다.
• 자동 구분을 인간 주석과 대조해 타당성을 평가한다.
• 인간 구분과 LLM 구분 간의 일관성을 인간-인간의 일관성과 비교한다.
• 구분된 사건과 기억 추정 간의 의미적 유사성의 프레임워크를 통해 기억 측정을 제공한다.

실험 결과

연구 질문

• RQ1 자연 서사에서 LLM이 이벤트 경계선을 정확히 식별할 수 있는가?
• RQ2 LLM 기반 구분은 일관성 측면에서 인간의 구분과 어떻게 비교되는가?
• RQ3 의미적 유사성에 기반한 LLM 활성화 프레임워크가 구분된 사건에 대한 유효한 기억 평가를 제공하는가?
• RQ4 LLM 기반 기억 척도가 수작업 점수를 대신해 확장 가능한 대안을 제공하면서 타당성을 유지하는가?

주요 결과

• LLMs는 서사에서 이벤트 경계선을 정확히 식별할 수 있다.
• 인간의 구분은 LLM과의 일관성에서 다른 인간보다 더 높은 편이다.
• 의미적 유사성에 기반한 자동 기억 평가 프레임워크가 기억 성과를 추정할 수 있다.
• LLM 기반 방법은 지각, 기억 및 인지 장애 연구를 위한 수작업 점수의 확장 가능한 대안을 제공한다.