[논문 리뷰] Bridging Items and Language: A Transition Paradigm for Large Language Model-Based Recommendation

Xinyu Lin, Wenjie Wang외 4명|arXiv (Cornell University)|2023. 10. 10.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 다각도 식별자(식별자, 제목, 속성 조합)를 통해 대규모 언어 모델(Large Language Models, LLMs)과 추천 시스템을 연결하는 새로운 전이 파라다임인 TransRec을 제안한다. 이는 의미적 풍부함과 고유성을 동시에 확보한다. 제약된, 위치에 의존하지 않는 생성 방식과 지면 모듈을 도입하여, 세 가지 실세계 데이터셋에서 전수 및 소수 샘플 설정 모두에서 추천 정확도와 일반화 능력을 크게 향상시킨다.

ABSTRACT

Harnessing Large Language Models (LLMs) for recommendation is rapidly emerging, which relies on two fundamental steps to bridge the recommendation item space and the language space: 1) item indexing utilizes identifiers to represent items in the language space, and 2) generation grounding associates LLMs' generated token sequences to in-corpus items. However, previous methods exhibit inherent limitations in the two steps. Existing ID-based identifiers (e.g., numeric IDs) and description-based identifiers (e.g., titles) either lose semantics or lack adequate distinctiveness. Moreover, prior generation grounding methods might generate invalid identifiers, thus misaligning with in-corpus items. To address these issues, we propose a novel Transition paradigm for LLM-based Recommender (named TransRec) to bridge items and language. Specifically, TransRec presents multi-facet identifiers, which simultaneously incorporate ID, title, and attribute for item indexing to pursue both distinctiveness and semantics. Additionally, we introduce a specialized data structure for TransRec to ensure generating valid identifiers only and utilize substring indexing to encourage LLMs to generate from any position of identifiers. Lastly, TransRec presents an aggregated grounding module to leverage generated multi-facet identifiers to rank in-corpus items efficiently. We instantiate TransRec on two backbone models, BART-large and LLaMA-7B. Extensive results on three real-world datasets under diverse settings validate the superiority of TransRec.

연구 동기 및 목표

• 기존의 항목 인덱싱 방법이 의미적 풍부함(설명 기반) 또는 고유성(ID 기반) 중 하나를 희생하는 문제를 해결하기 위해.
• 자기회귀적 LLM 기반 추천에서 어휘 외 식별자 생성 문제를 해결하기 위해.
• 초기 토큰에 대한 의존도를 줄이기 위해, 이는 사용자 선호도를 반영하지 않을 수 있기 때문이다.
• 모든 부분에서의 생성이 가능하도록 허용함으로써 위치에 의존하지 않는 생성을 가능하게 하기 위해.
• 어휘 내 식별자 예측을 보장하는 강력한 생성 지면 메커니즘을 개발하기 위해.

제안 방법

• 항목 ID, 제목, 속성을 조합한 다각도 식별자를 제안하여 고유성과 의미적 표현력을 동시에 확보한다.
• 어휘 내 유효한 식별자만 생성 가능하도록 제약하는 특수한 데이터 구조를 도입하여 어휘 외 출력을 방지한다.
• 부분 문자열 인덱싱을 활용해 LLM이 어떤 위치에서든 식별자를 생성할 수 있도록 하여 위치에 의존하지 않는 생성을 가능하게 한다.
• LLM의 출력 어휘를 유효한 식별자로만 제한하는 제약된 생성 전략을 구현하여 계산 오버헤드를 줄인다.
• ID, 제목, 속성 등 여러 식별자 요소에서의 매칭 점수를 통합하여 강력한 항목 검색을 위한 집계 지면 모듈을 설계한다.
• BART-large 및 LLaMA-7B에 TransRec을 구현하고, 지시 테이닝 데이터를 활용해 추천 작업에 대해 피지컬 튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 ID, 제목, 속성을 조합한 다각도 식별자가 LLM 기반 추천에서 고유성과 의미적 풍부함을 동시에 향상시킬 수 있는가?
• RQ2 제약된 생성이 어휘 외 식별자 생성을 방지하고 추천 신뢰도를 향상시키는가?
• RQ3 부분 문자열 인덱싱을 통해 위치에 의존하지 않는 생성이 초기 토큰에 대한 의존도를 줄일 수 있는가?
• RQ4 TransRec은 도전적인 소수 샘플 및 콜드스타트 추천 환경에서 어떻게 성능을 발휘하는가?
• RQ5 집계 지면 모듈이 여러 식별자 요소에서 유입된 신호를 효과적으로 융합하여 추천 정확도를 향상시킬 수 있는가?

주요 결과

• TransRec는 전수 학습, 소수 샘플, 콜드스타트 시나리오를 포함한 다양한 설정에서 세 가지 실세계 데이터셋에서 최신 기준(SOTA) 성능을 달성한다.
• 다각도 식별자 설계가 의미적 풍부함과 고유성의 균형을 이루며 추천 정확도를 크게 향상시킨다.
• 제약된 생성은 어휘 외 추천을 줄이며, 어휘 제한을 통한 정밀도 향상으로 지면 정확도가 향상된다.
• 위치에 의존하지 않는 생성은 초기 토큰이 모호하거나 정보가 없을 경우 더욱 민첩하고 정확한 식별자 생성을 가능하게 한다.
• 집계 지면 모듈은 ID, 제목, 속성 요소의 매칭 점수를 융합함으로써 정확도 향상에 기여한다.
• 실증 결과는 특히 콜드스타트 및 소수 샘플 학습과 같은 저자료 환경에서 정확도와 일반화 능력 향상이 일관되게 관찰됨을 보여준다.