[논문 리뷰] Personalized Transformer for Explainable Recommendation

Lei Li, Yongfeng Zhang외 1명|arXiv (Cornell University)|2021. 05. 25.

Topic Modeling참고 문헌 37인용 수 8

한 줄 요약

이 논문은 사용자 및 아이템 ID를 자연어 생성에 통합하여 설명 가능한 추천을 위한 개인화된 Transformer 모델인 PETER를 제안한다. 사용자 및 아이템 ID를 대상 단어로 매핑하는 맥락 예측 작업을 도입함으로써 PETER는 사용자 및 아이템에 특화된 설명을 생성할 수 있으며, 대규모 데이터셋에서 생성 품질과 학습 효율성 측면에서 미세조정된 BERT를 능가한다.

ABSTRACT

Personalization of natural language generation plays a vital role in a large spectrum of tasks, such as explainable recommendation, review summarization and dialog systems. In these tasks, user and item IDs are important identifiers for personalization. Transformer, which is demonstrated with strong language modeling capability, however, is not personalized and fails to make use of the user and item IDs since the ID tokens are not even in the same semantic space as the words. To address this problem, we present a PErsonalized Transformer for Explainable Recommendation (PETER), on which we design a simple and effective learning objective that utilizes the IDs to predict the words in the target explanation, so as to endow the IDs with linguistic meanings and to achieve personalized Transformer. Besides generating explanations, PETER can also make recommendations, which makes it a unified model for the whole recommendation-explanation pipeline. Extensive experiments show that our small unpretrained model outperforms fine-tuned BERT on the generation task, in terms of both effectiveness and efficiency, which highlights the importance and the nice utility of our design.

연구 동기 및 목표

• 사용자 및 아이템 ID가 단어와 의미적으로 일치하지 않는 Transformer에서 자연어 생성의 개인화 문제를 해결하기 위해.
• 같은 아키텍처를 사용하여 추천 및 설명 생성을 동시에 수행할 수 있는 통합 모델을 가능하게 하기 위해.
• 사용자 및 아이템 ID에 언어적 의미를 부여하는 학습 목표를 설계하여 생성에 효과적으로 활용할 수 있도록 하기 위해.
• 아이템 특징을 생성 과정에 통합하여 설명 가능성의 향상을 도모하고, 타겟된 설명을 가능하게 하기 위해.
• 작은, 미미리 훈련된 Transformer가 BERT와 같은 더 큰, 미세조정된 모델을 초월할 수 있음을 보여주기 위해.

제안 방법

• 사용자 및 아이템 ID를 사용하여 설명 시퀀스의 단어를 예측하는 맥락 예측 작업을 도입하여, ID를 의미적 표현으로 효과적으로 매핑한다.
• 같은 Transformer 인코더-디코더 아키텍처를 공유하는 설명 생성과 맥락 예측을 결합한 다중 작업 목표로 모델을 훈련한다.
• 계산 비용을 줄이기 위해 경량의 두 층으로 구성된, 미리 훈련되지 않은 Transformer를 사용한다.
• 아이템 특징을 입력에 통합하여 설명 생성을 이끌어내어 타겟된 설명(예: 가격 또는 스타일에 대한 설명)을 가능하게 한다.
• 사용자 및 아이템 ID를 임베딩하고 어텐션을 적용하는 공유 표현 학습 메커니즘을 적용하여 디코딩 중 어텐션에 영향을 주도록 한다.
• 정보 泄露를 방지하기 위해 추천 헤드에서 왼쪽에서 오른쪽으로의 마스킹을 적용하여, 모델이 미래 토큰이 아닌 맥락에서 학습하도록 한다.

실험 결과

연구 질문

• RQ1 표준 Transformer가 사용자 및 아이템 ID를 사용하여 자연어 생성을 효과적으로 개인화할 수 있는가?
• RQ2 맥락 예측 작업을 도입함으로써 ID가 설명 생성에 의미적으로 기여할 수 있는가?
• RQ3 통합 모델이 추천 및 설명 생성을 동시에 수행하면서 미세조정된 BERT를 능가하는 성능을 달성할 수 있는가?
• RQ4 아이템 특징을 통합할 경우 생성된 설명의 품질과 관련성은 어떻게 영향을 받는가?
• RQ5 작은, 미리 훈련되지 않은 Transformer가 설명 생성 작업에서 더 큰, 미세조정된 모델을 능가할 수 있는가?

주요 결과

• PETER는 여러 데이터셋에서 주요 텍스트 생성 지표(BLEU, ROUGE, 설명 가능성 중심 지표) 전반에서 미세조정된 BERT를 능가한다.
• TripAdvisor 데이터셋에서 PETER는 에포크당 2.3분의 학습 시간을 기록하여, 비록 미리 훈련되지 않았음에도 불구하고 ACMLM보다 빠르게 학습된다.
• 맥락 예측 작업을 비활성화할 경우 설명 품질과 설명 가능성에 심각한 하락이 발생하며, 고유 문장 비율(USR)이 표준 Transformer 수준에 가까워진다.
• 특징 유도 생성을 적용한 PETER+는 더 정확하고 의미적으로 관련성이 높은 설명을 생성하여, 올바른 맥락에서 '객실'에 초점을 맞추는 등 더 나은 성능을 보인다.
• 대규모 Yelp 데이터셋(130만 건)에서 PETER는 SVD++, NRT, NETE와 같은 강력한 기준 모델과 유사한 추천 성능을 기록한다.
• 제거 실험 결과, 맥락 예측 작업이 개인화에 필수적임을 확인하였으며, 이 작업을 제거할 경우 다양한 사용자-아이템 쌍에 대해 동일한 설명이 생성된다.