[논문 리뷰] Scene-Aware Memory Discrimination: Deciding Which Personal Knowledge Stays

Yijie Zhong, Mengying Guo외 4명|arXiv (Cornell University)|2026. 02. 12.

Personal Information Management and User Behavior인용 수 0

한 줄 요약

SAMD는 Gating Unit과 Cluster Prompting Module을 사용하여 장면 인식 메모리 구분(scene-aware memory discrimination)을 수행하고, 메모리 품질을 향상시키면서 계산량을 줄이며, 직접 및 간접 평가에서 강한 성능을 보입니다.

ABSTRACT

Intelligent devices have become deeply integrated into everyday life, generating vast amounts of user interactions that form valuable personal knowledge. Efficient organization of this knowledge in user memory is essential for enabling personalized applications. However, current research on memory writing, management, and reading using large language models (LLMs) faces challenges in filtering irrelevant information and in dealing with rising computational costs. Inspired by the concept of selective attention in the human brain, we introduce a memory discrimination task. To address large-scale interactions and diverse memory standards in this task, we propose a Scene-Aware Memory Discrimination method (SAMD), which comprises two key components: the Gating Unit Module (GUM) and the Cluster Prompting Module (CPM). GUM enhances processing efficiency by filtering out non-memorable interactions and focusing on the salient content most relevant to application demands. CPM establishes adaptive memory standards, guiding LLMs to discern what information should be remembered or discarded. It also analyzes the relationship between user intents and memory contexts to build effective clustering prompts. Comprehensive direct and indirect evaluations demonstrate the effectiveness and generalization of our approach. We independently assess the performance of memory discrimination, showing that SAMD successfully recalls the majority of memorable data and remains robust in dynamic scenarios. Furthermore, when integrated into personalized applications, SAMD significantly enhances both the efficiency and quality of memory construction, leading to better organization of personal knowledge.

연구 동기 및 목표

• 개인화된 애플리케이션을 위한 간결하고 고품질의 개인 기억을 구축하도록 메모리 디스크리미네이션을 고무한다.
• 고정된 LLM과 함께 작동하는 scene-aware memory discrimination 프레임워크(SAMD)를 제안한다.
• memory-scene saliency를 사용하여 비기억 가능 데이터를 필터링하는 GUM과 의도-장면 군집화를 통해 기억 기준을 정의하는 CPM을 설계한다.
• 다양한 데이터세트에 걸친 직접적이고 간접적 평가를 통해 SAMD의 효율성과 견고함을 입증한다.

제안 방법

• 맥락의 각 문장을 메모리로 저장할지 여부를 이진 결정으로 도입한다.
• Gating Unit Module (GUM)은 중요 단어와 다각적 롤플레이에서 구성된 메모리 장면 기반 식별자를 사용하여 비기억 데이터를 필터링한다.
• Cluster Prompting Module (CPM)은 사용자의 의도를 의도-장면 친화 행렬로 군집화하고 군집별로 구분 규칙을 구축하여 무엇을 기억할지 정의한다.
• 메모리 구분 규칙을 적용하기 위해 고정된 LLM을 사용하고, 새로운 메모리 장면과 의도에 대한 접근성을 최소한의 비용으로 업데이트한다.
• 메모리 구분 정확도, 검색(회상) 및 효율성을 직접 평가하고, 기억 지원 에이전트의 기억 구성에 미치는 영향을 간접적으로 평가한다.

실험 결과

연구 질문

• RQ1 SAMD가 규모에 따라 기억에 남는 데이터와 그렇지 않은 데이터를 정확하게 구분할 수 있는가?
• RQ2 장면 인식 구분이 다양한 메모리 장면과 의도에서 메모리 품질과 효율성을 향상시키는가?
• RQ3 LLM을 파인 튜닝하지 않고도 새로운 메모리 장면이나 의도에 SAMD가 얼마나 잘 적응하는가?
• RQ4 속도와 품질 측면에서 메모리 보조 애플리케이션에 대한 SAMD의 영향은 무엇인가?

주요 결과

• 의도 클러스터링이 포함된 SAMD는 핵심 데이터세트에서 기준 방법보다 약 3배 빠른 구분과 20% 이상 높은 정확도를 달성한다.
• SAMD는 기억에 남는 데이터의 90% 이상을 보존하여 전체 성능을 20% 이상 향상시킨다.
• GUM은 비기억 데이터를 조기에 효과적으로 필터링하여 불필요한 LLM 사용과 계산 비용을 줄인다.
• CPM의 의도-장면 클러스터링은 다양 표현을 포괄하는 구분 규칙을 가능하게 하며, 장면 간 메모리 격차를 최소화한다.
• SAMD는 사용자의 의도가 불완전하거나 부정확하거나 이용할 수 없을 때도 견고하며, 진화하는 애플리케이션 수요에 적응한다.