[논문 리뷰] Long Time No See! Open-Domain Conversation with Long-Term Persona Memory

Xinchao Xu, Zhibin Gou외 5명|arXiv (Cornell University)|2022. 03. 11.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 장기 기억 대화(LeMon) 작업을 소개하고, 상호적 성격 기억을 갖춘 대규모 중국어 다중턴 대화 데이터셋인 DuLeMon을 제안한다. 또한 장기 기억(LTM) 메커니즘을 통해 실시간으로 사용자 및 봇 성격 정보를 동적으로 추출하고 업데이트하는 플러그인 프레임워크인 PLATO-LTM을 제시한다. 이는 장기 세션 미세조정 데이터가 필요 없이 대화의 일관성과 몰입감을 크게 향상시킨다.

ABSTRACT

Most of the open-domain dialogue models tend to perform poorly in the setting of long-term human-bot conversations. The possible reason is that they lack the capability of understanding and memorizing long-term dialogue history information. To address this issue, we present a novel task of Long-term Memory Conversation (LeMon) and then build a new dialogue dataset DuLeMon and a dialogue generation framework with Long-Term Memory (LTM) mechanism (called PLATO-LTM). This LTM mechanism enables our system to accurately extract and continuously update long-term persona memory without requiring multiple-session dialogue datasets for model training. To our knowledge, this is the first attempt to conduct real-time dynamic management of persona information of both parties, including the user and the bot. Results on DuLeMon indicate that PLATO-LTM can significantly outperform baselines in terms of long-term dialogue consistency, leading to better dialogue engagingness.

연구 동기 및 목표

• 열린 도메인 대화 시스템에서 장기 성격 모델링의 부족을 해결하기 위해, 특히 장기간 상호작용 동안 일관성을 유지하는 데 초점 맞추기.
• 사용자와 봇 간의 상호적 성격 기억을 반영한 현실적인 장기 대화 작업 설계하기. 정적 성격 설정을 넘어서기.
• 다중 세션 미세조정 데이터에 의존하지 않고도 실시간으로 동적으로 사용자 및 봇 성격 기억을 관리할 수 있는 프레임워크 개발하기.
• 장기 기억 메커니즘이 열린 도메인 대화에서 대화의 일관성과 몰입감을 향상시키는 데 얼마나 효과적인지 평가하기.

제안 방법

• 장기 기억 대화를 위한 새로운 벤치마크로 LeMon 작업을 제안하며, 상호적 성격 유지 및 동적 업데이트에 중점을 둔다.
• 10,907개의 다중턴 대화를 포함한 대규모 중국어 대화 데이터셋인 DuLeMon을 구축하며, 각 발언에서 사용자 및 봇 성격이 명시적으로 주석 처리되어 있다.
• 대화 기록에서 성격 관련 문장을 필터링하고 추출하는 성격 추출기(PE)를 통합한 플러그 앤 플레이 프레임워크인 PLATO-LTM을 설계한다.
• 사용자 및 봇 전용 별도의 기억 모듈을 갖춘 이중 장기 기억(LTM) 모듈을 도입하며, 성격 사실은 실시간으로 지속적으로 업데이트된다.
• 양쪽 기억에서 추출한 성격 문장을 직접 대규모 생성 모델(PLATO-2)의 입력에 통합하여 응답 생성을 수행한다.
• 10개의 에피소드 동안 각 16라운드로 구성된 4세션씩의 대화를 수행하는 사용자 시뮬레이터와의 자가 대화 평가 설정을 사용하여 일관성과 몰입감을 평가한다.

실험 결과

연구 질문

• RQ1 장기 세션 데이터에 대한 미세조정 없이도 대화 시스템이 자신의 성격과 사용자의 진화하는 성격을 장기간 유지하고 활용할 수 있는가?
• RQ2 실시간으로 동적으로 성격을 추출하고 기억 관리하는 메커니즘이 대화의 일관성과 몰입감 향상에 얼마나 효과적인가?
• RQ3 전용 성격 추출기(PE)를 포함시키는 것이 원시 기억만을 사용하는 것보다 장기 기억 시스템의 성능을 뚜렷이 향상시키는가?
• RQ4 소규모 데이터셋에 대한 미세조정이 열린 도메인, 장기 수평 대화에서 사전 훈련된 대화 모델의 일관성에 어떤 정도 악영향을 미치는가?

주요 결과

• PLATO-LTM는 대화 일관성 점수 0.87을 기록하며, 베이스라인인 PLATO-2와 미세조정된 PLATO-FT(0.40)를 크게 앞서며 LTM 메커니즘의 효과성을 입증한다.
• PLATO-LTM에서 성격 추출기(PE)를 사용할 경우, PLATO-FT 대비 대화 일관성 점수가 118% 향상되어 PE가 정확한 성격 기억 관리에 핵심적인 역할을 한다는 것을 입증한다.
• PLATO-LTM는 인간 평가 기반 몰입도 점수 1.54를 기록하며, 이는 베이스라인인 PLATO-2보다 높아 더 나은 성격 활용으로 인해 사용자 몰입도가 향상됨을 시사한다.
• 성격 추출기(PE)를 제거한 경우(PLATO-LTM w/o PE) 몰입도 점수는 1.43으로 하락하여 PE가 일관성과 몰입도 향상에 기여함을 확인한다.
• DuLeMon 데이터셋에 대한 미세조정은 대화 일관성에 약간 악영향을 미치며, PLATO-FT는 일관성 점수 1.59로 사전 훈련된 베이스라인보다 낮다. 이는 열린 도메인 일관성에 대해 미세조정이 부정적 영향을 줄 수 있음을 시사한다.
• 성격 추출기(PE) 없이도 LTM 메커니즘 자체만으로도 베이스라인 모델 대비 일관성 점수 0.49를 기록하여 기억 저장 및 검색만으로도 측정 가능한 이점을 제공함을 보여준다.