[논문 리뷰] Toward Amortized Ranking-Critical Training For Collaborative Filtering

Sam Lobel, Chunyuan Li외 2명|arXiv (Cornell University)|2020. 04. 30.

Data Stream Mining Techniques참고 문헌 61인용 수 9

한 줄 요약

이 논문은 순위 기반 목표를 직접 최적화하기 위해 순위 지표를 근사하는 크리틱 네트워크를 훈련시키고, 이를 통해 액터 네트워크 업데이트를 이끄는 액터-크리틱 강화학습 프레임워크를 제안한다. 이 방법은 신경망을 통해 순위 계산을 분산 처리함으로써 새로운 아이템 목록에 대한 효율적인 추론을 가능하게 하며, 세 개의 대규모 데이터셋에서 최신 기술 수준 또는 그 이상의 성능을 달성한다.

ABSTRACT

We investigate new methods for training collaborative filtering models based on actor-critic reinforcement learning, to more directly maximize ranking-based objective functions. Specifically, we train a critic network to approximate ranking-based metrics, and then update the actor network to directly optimize against the learned metrics. In contrast to traditional learning-to-rank methods that require re-running the optimization procedure for new lists, our critic-based method amortizes the scoring process with a neural network, and can directly provide the (approximate) ranking scores for new lists. We demonstrate the actor-critic's ability to significantly improve the performance of a variety of prediction models, and achieve better or comparable performance to the state-of-the-art on three large-scale datasets.

연구 동기 및 목표

• 각 새로운 목록에 대해 재최적화가 필요한 전통적인 러닝-토-랭크 방법의 비효율성을 해결하기 위해 순위 스코링 과정을 분산 처리하는 것.
• 대체 손실 함수를 사용하는 대신 순위 기반 목표를 직접 최적화하여 공동 필터링 모델을 개선하는 것.
• 복잡한 순위 지표를 근사하는 크리틱 네트워크를 훈련시켜 액터 네트워크의 정책 업데이트를 이끄는 것.
• 학습된 크리틱을 활용해 새로운 아이템 목록에 대한 효율적인 추론을 가능하게 하는 것.
• 직접 순위 최적화를 통해 대규모 추천 데이터셋에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성하는 것.

제안 방법

• NDCG나 MAP와 같은 순위 기반 지표를 근사하기 위해 크리틱 신경망을 훈련시켜 순위 품질의 미분 가능한 추정치를 제공하는 것.
• 크리틱의 출력을 보상 신호로 사용하여 정책 그래เดียน트 방법을 통해 액터 네트워크를 업데이트함으로써 순위 성능을 직접 최적화하는 것.
• 크리틱 네트워크를 사용해 새로운 아이템 목록에 대한 근사 스코어를 제공함으로써 순위 계산을 분산 처리하는 것.
• 액터가 아이템 순위를 생성하는 정책을 학습하는 강화학습 문제로 학습 목표를 설정하는 것.
• 크리틱과 액터 네트워크를 엔드 투 엔드로 통합하여 양측 모두에 대해 역전파를 통해 공동 훈련이 가능하도록 하는 것.
• 학습 안정성 향상과 샘플 효율성 향상을 위해 오프-폴리시 업데이트와 경험 리플레이를 사용하는 것.

실험 결과

연구 질문

• RQ1 크리틱 네트워크가 강화학습을 위한 대체 보상으로 복잡한 순위 지표를 효과적으로 근사할 수 있는가?
• RQ2 신경 크리틱을 통한 순위 계산의 분산 처리가 새로운 아이템 목록에 대한 추론 속도 향상과 확장성 향상에 기여하는가?
• RQ3 크리틱의 보상 신호를 직접 사용한 최적화가 대체 손실 함수를 사용하는 표준 공동 필터링보다 추천 성능을 향상시키는가?
• RQ4 순위 지표와 확장성 측면에서 제안된 방법은 최신 기술 수준의 러닝-토-랭크 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ5 재훈련 없이도 크리틱 네트워크가 새로운 아이템 목록에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 액터-크리틱 프레임워크는 세 개의 대규모 추천 데이터셋에서 최신 기술 수준의 방법과 비교해 우수하거나 유사한 성능을 달성한다.
• 크리틱 네트워크는 순위 지표를 효과적으로 근사하여 정책 최적화를 위한 정확하고 미분 가능한 보상 신호를 제공한다.
• 크리틱을 활용한 분산 추론을 통해 최적화 절차를 다시 실행하지 않아도 새로운 아이템 목록의 스코링을 효율적으로 수행할 수 있다.
• NDCG와 MAP와 같은 지표를 직접 최적화함으로써 순위 성능 향상이 이루어지며, 대체 손실 함수에 의존하지 않는다.
• 학습된 크리틱의 인덕티브 바이어스 덕분에 프레임워크는 확장성과 높은 일반화 능력을 보인다.
• 실증 결과는 다양한 평가 지표에서 일관된 성능 향상을 보이며, 직접 순위 최적화의 효과성을 확인한다.