[논문 리뷰] Large Language Model Can Interpret Latent Space of Sequential Recommender

Zhengyi Yang, Jiancan Wu외 6명|arXiv (Cornell University)|2023. 10. 31.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 LLaMA와 같은 대규모 언어모델(LLM)이 ID 기반 순차 추천 모델의 잠재 표현을 해석하고 추론할 수 있도록 하는 RecInterpreter라는 프레임워크를 제안한다. 경량 어댑터를 사용해 추천 임베딩을 LLM의 토큰 공간으로 매핑하고, 시퀀스 복구 및 시퀀스 잔여 prompting을 적용함으로써 RecInterpreter는 LLM이 상호작용 시퀀스에 대한 정확한 텍스트 기반 설명을 생성하고, 생성 기반 추천 모델에서 유도된 오라클 아이템을 구현할 수 있도록 한다—강력한 성능을 보이며 LLM이 순차 추천 모델의 숨겨진 표현을 이해하고 실질적으로 활용할 수 있음을 입증한다.

ABSTRACT

Sequential recommendation is to predict the next item of interest for a user, based on her/his interaction history with previous items. In conventional sequential recommenders, a common approach is to model item sequences using discrete IDs, learning representations that encode sequential behaviors and reflect user preferences. Inspired by recent success in empowering large language models (LLMs) to understand and reason over diverse modality data (e.g., image, audio, 3D points), a compelling research question arises: ``Can LLMs understand and work with hidden representations from ID-based sequential recommenders?''.To answer this, we propose a simple framework, RecInterpreter, which examines the capacity of open-source LLMs to decipher the representation space of sequential recommenders. Specifically, with the multimodal pairs (\ie representations of interaction sequence and text narrations), RecInterpreter first uses a lightweight adapter to map the representations into the token embedding space of the LLM. Subsequently, it constructs a sequence-recovery prompt that encourages the LLM to generate textual descriptions for items within the interaction sequence. Taking a step further, we propose a sequence-residual prompt instead, which guides the LLM in identifying the residual item by contrasting the representations before and after integrating this residual into the existing sequence. Empirical results showcase that our RecInterpreter enhances the exemplar LLM, LLaMA, to understand hidden representations from ID-based sequential recommenders, especially when guided by our sequence-residual prompts. Furthermore, RecInterpreter enables LLaMA to instantiate the oracle items generated by generative recommenders like DreamRec, concreting the item a user would ideally like to interact with next. Codes are available at https://github.com/YangZhengyi98/RecInterpreter.

연구 동기 및 목표

• 대규모 언어모델(LLM)이 아이템 ID 시퀀스로 훈련된 순차 추천 모델이 학습한 잠재 표현을 이해하고 추론할 수 있는지 조사하는 것.
• LLM과 순차 추천 모델 간 격차를 해소하기 위해, LLM이 아이템 ID 시퀀스에서 파생된 은닉 표현을 해석할 수 있도록 하는 것.
• 기존 후보 집합에 포함되지 않은 경우에도, DreamRec과 같은 생성 기반 추천 모델이 생성한 오라클 아이템을 구현할 수 있는 방법을 제공하는 것.
• ChatGPT를 통한 인간과 유사한 평가를 통해 LLM의 해석 가능성과 활용가능성을 인간 중심의 평가 기반으로 평가하는 것.

제안 방법

• 경량 어댑터를 훈련시켜 순차 추천 모델의 잠재 표현을 LLM의 토큰 임베딩 공간으로 매핑한다.
• 시퀀스 복구 프롬프팅을 사용해 LLM이 사용자 상호작용 이력에 포함된 아이템에 대한 텍스트 기반 설명을 생성하도록 유도한다.
• 시퀀스 잔여 프롬프팅은 잔여 아이템 통합 전후의 표현을 대조함으로써 LLM이 누락된 또는 잔여 아이템을 식별하고 기술할 수 있도록 한다.
• 프레임워크는 동결된 추천 모델(GRU4Rec, Caser, SASRec, DreamRec)과 동결된 LLM(LaMA-7B)을 사용하여 적용되며, 쌍체의 다중모odal 데이터(표현과 텍스트 서술)를 통한 정렬에 의존한다.
• DreamRec에서 생성된 오라클 아이템은 RecInterpreter를 통해 구현되며, 인간과 유사한 선호도 평가를 위해 ChatGPT를 활용해 평가되며, 사용자는 추천 목록 중 선호하는 아이템을 선택하도록 요청된다.

실험 결과

연구 질문

• RQ1 대규모 언어모델(LLM)은 아이템 ID 시퀀스로 훈련된 순차 추천 모델의 잠재 표현을 이해하고 추론할 수 있는가?
• RQ2 LLM은 추천 모델의 잠재 표현만을 사용해 상호작용 시퀀스에 대한 정확한 텍스트 기반 설명을 생성할 수 있는가?
• RQ3 LLM은 표현을 통합 전후로 비교함으로써 시퀀스의 잔여 아이템을 식별하고 기술할 수 있는가?
• RQ4 RecInterpreter는 후보 아이템 집합에 포함되지 않은 경우에도 DreamRec과 같은 생성 기반 추천 모델의 오라클 아이템을 구현할 수 있는가?
• RQ5 인간 선호도 평가에서 LLM 기반 추천은 기존 추천 모델과 비교해 얼마나 잘 수행되는가?

주요 결과

• RecInterpreter는 시퀀스 복구 프롬프팅을 통해 LLaMA가 잔여 표현에 의해 안내될 경우 상호작용 시퀀스를 매우 정확하게 이해하고 기술할 수 있도록 한다.
• 시퀀스 잔여 프롬프팅 전략은 LLM이 잔여 아이템을 식별하고 기술함으로써 누락된 아이템의 잠재 표현을 효과적으로 복호화할 수 있도록 한다.
• MovieLens 데이터셋에서 DreamRec이 생성한 오라클 아이템 중 28.13%와 Steam 데이터셋에서 48.67%는 원래 아이템 집합에 존재하지 않았으며, 이는 모델이 새로운 추천을 생성할 수 있음을 보여준다.
• ChatGPT를 통한 인간과 유사한 선호도 평가에서, DreamRec은 MovieLens에서 SASRec보다 높은 선호도(50.53% 대비 35.79%)를 기록했고, Steam에서는 유사한 성능(48.09% 대비 51.15%)을 보였다.
• 이 프레임워크는 생성 기반 추천 모델의 잠재적 약속을 성공적으로 이행하여, LLM이 후보 집합을 초월해 아이템을 구현하고 기술할 수 있도록 하며, 잠재 표현의 해석 가능성과 활용가능성을 검증한다.