[논문 리뷰] Energy-Based Sequence GANs for Recommendation and Their Connection to Imitation Learning

Jaeyoon Yoo, Heonseok Ha외 6명|arXiv (Cornell University)|2017. 06. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 8

한 줄 요약

이 논문은 에너지 기반 GAN과 순차 모델링을 융합하여 사용자 선호도에 맞는 아이템 순서를 생성하는 에너지 기반 순차 GAN(EB-SeqGANs)을 제안한다. 이는 EB-SeqGANs와 최대 엔트로피 모방 학습 간 이론적 연관성을 수립함으로써, 행동 복제 접근 방식에 비해 누적 오류를 줄이고 추천 순서 품질을 향상시키는 엔드 투 엔드 학습을 가능하게 한다.

ABSTRACT

Recommender systems aim to find an accurate and efficient mapping from historic data of user-preferred items to a new item that is to be liked by a user. Towards this goal, energy-based sequence generative adversarial nets (EB-SeqGANs) are adopted for recommendation by learning a generative model for the time series of user-preferred items. By recasting the energy function as the feature function, the proposed EB-SeqGANs is interpreted as an instance of maximum-entropy imitation learning.

연구 동기 및 목표

• 추천 시스템에서 일관되고 사용자 중심의 아이템 순서를 생성하는 데 도전 과제를 해결하기 위해.
• 개별 추천을 별도로 학습하는 행동 복제 접근 방식에서 흔히 발생하는 누적 오류를 줄이기 위해.
• 순차 데이터를 사용하여 사용자 선호도의 전체 궤적을 학습하는 생성 모델을 개발하기 위해.
• 에너지 기반 GAN과 최대 엔트로피 모방 학습 간 이론적 연결을 수립하여 학습 안정성과 해석 가능성 향상시키기 위해.

제안 방법

• 에너지 기반 GAN(EBGANs)과 순차 GAN(SeqGANs)을 융합하여 순차적 사용자 선호도를 모델링한다.
• 기존 사용자 아이템 순서를 기반으로 다음 아이템 예측을 생성하는 생성기 네트워크를 사용한다.
• 실제 사용자 선호도 순서와 생성된 순서를 구분하는 판별기(discriminator)를 활용한다.
• 에너지 함수를 특징 함수로 재정의함으로써 최대 엔트로피 모방 학습 프레임워크 내에서 해석 가능하게 한다.
• 생성기의 샘플링 과정을 통해 역전파가 가능한 정책 그래디언트 방법을 사용해 생성기를 최적화한다.
• 모방 학습에서의 샘플링 분포를 최적화 변수로 간주함으로써 학습 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 에너지 기반 GAN이 추천 시스템의 순차적 사용자 선호도를 효과적으로 모델링하는 데 적합하게 적용될 수 있는가?
• RQ2 제안된 EB-SeqGAN 프레임워크는 최대 엔트로피 모방 학습과 어떻게 관련이 있는가?
• RQ3 제안된 방법은 순차 추천에서 행동 복제에 비해 누적 오류를 줄이는가?
• RQ4 EB-SeqGAN과 모방 학습 간 이론적 연결이 더 안정적이고 정확한 학습을 이끌 수 있는가?
• RQ5 기존 딥러닝 기반 추천 모델에 비해 EB-SeqGAN은 어떤 성능 향상을 제공하는가?

주요 결과

• 에너지 함수를 특징 함수로 해석할 경우, EB-SeqGANs는 최대 엔트로피 모방 학습과 이론적으로 동일하다.
• 개별 행동이 아닌 전체 추천 궤적을 학습함으로써 누적 오류를 줄인다.
• 에너지 기반 공식화를 통해 순차 생성기의 엔드 투 엔드 학습이 안정화된 프레임워크를 제공한다.
• 음악 추천을 넘어서 클릭스트림 분석과 같은 모든 순차 추천 작업에 적용 가능하다.
• 기울기 기반 최적화를 사용함으로써 직접적인 모방 학습 목표 근사에서 흔히 발생하는 수치적 불안정성을 피한다.
• 실험 결과는 시퀀스 수준의 추천 품질 향상을 시사하지만, 제공된 텍스트에는 구체적인 지표가 수량화되어 있지 않다.