[논문 리뷰] Multi-Gradient Descent for Multi-Objective Recommender Systems

Nikola Milojkovic, Diego Antognini외 3명|arXiv (Cornell University)|2019. 12. 09.

Recommender Systems and Techniques참고 문헌 31인용 수 23

한 줄 요약

이 논문은 추천 시스템을 위한 다중 기울기 하강법(MGDRec)을 제안한다. 이는 기울기 정규화를 사용하여 상관관계가 없거나 척도가 다를 수 있는 다수의 목적함수—예를 들어 의미적 유사도, 수익, 콘텐츠 품질—를 동시에 최적화하는 확률적 다중 기울기 하강 방법이다. 이 방법은 갈등하는 목적함수를 균형 있게 다루면서도 개별 목적함수의 성능를 유지함으로써 최신 기술보다 뛰어난 성능을 보이며, 비미분 가능하거나 척도가 다를 수 있는 목적함수에도 효과적으로 적용된다.

ABSTRACT

Recommender systems need to mirror the complexity of the environment they are applied in. The more we know about what might benefit the user, the more objectives the recommender system has. In addition there may be multiple stakeholders - sellers, buyers, shareholders - in addition to legal and ethical constraints. Simultaneously optimizing for a multitude of objectives, correlated and not correlated, having the same scale or not, has proven difficult so far. We introduce a stochastic multi-gradient descent approach to recommender systems (MGDRec) to solve this problem. We show that this exceeds state-of-the-art methods in traditional objective mixtures, like revenue and recall. Not only that, but through gradient normalization we can combine fundamentally different objectives, having diverse scales, into a single coherent framework. We show that uncorrelated objectives, like the proportion of quality products, can be improved alongside accuracy. Through the use of stochasticity, we avoid the pitfalls of calculating full gradients and provide a clear setting for its applicability.

연구 동기 및 목표

• 추천 시스템에서 상호 갈등하는 목적함수—상관관계가 있거나 없는 목적함수이면서 척도가 다를 수 있는 목적함수—를 동시에 최적화하는 문제를 해결하기 위해.
• 순차적 최적화, 가중합 접근법, 또는 진화 알고리즘과 같은 전통적 방법의 한계를 극복하기 위해, 다중 목적 최적화 환경에서 스케일업이 어려우거나 일관성이 떨어지는 문제를 해결하기 위해.
• 비미분 가능 목적함수—예를 들어 품질 콘텐츠 비율이나 인기 없는 콘텐츠 비율—의 효과적 최적화를 위해 다중 기울기 하강법을 확률적 부분기울기 설정으로 확장함으로써 가능하게 하기 위해.
• 다중 목적 추천에서의 확률적 최적화를 체계적으로 정의하여 실세계 적용에 적합하고 명확하며 확장 가능한 프레임워크를 제공하기 위해.
• 기울기 정규화가 본질적으로 다른 목적함수를 하나의 일관된 최적화 프레임워크에 통합할 수 있음을 보여주어 전체 최적해 품질을 향상시키는 데 기여함을 입증하기 위해.

제안 방법

• 비미분 가능 목적함수에도 적용 가능한 부분기울기를 사용하여 다수의 목적함수를 동시에 최적화하는 확률적 다중 기울기 하강 알고리즘(MGDRec)을 제안한다.
• 다른 척도를 가진 목적함수의 기울기를 정규화하여 최적화 과정에서 기여도가 균형을 이루도록 하고, 높은 크기의 기울기가 지배하지 않도록 보장한다.
• 전체 기울기 계산의 계산 부담을 피하기 위해 확률적 부분기울기 하강 방식(SMSGDA)을 사용하여 대규모 데이터셋에 대한 확장성을 확보한다.
• 사용자 선호도 벡터에 작은 양수 값을 삽입하여 모델이 의미적 유사도를 저하시키지 않으면서도 품질 높은 또는 인기 없는 콘텐츠를 추천하도록 이끈다.
• 각 목적함수의 기울기를 정규화된 공간에서 융합하여 단일 업데이트 스텝을 계산하는 방식으로 목적함수의 가중 평균을 적용한다.
• α 매개변수를 제약하여 품질 콘텐츠에 과적합되는 것을 방지하고, 목적함수 간 균형을 유지하는 학습 절차를 적용한다.

실험 결과

연구 질문

• RQ1 기울기 정규화를 사용할 경우, 의미적 유사도와 콘텐츠 품질과 같이 상관관계가 없는 목적함수를 추천 시스템에서 효과적으로 동시에 최적화할 수 있는가?
• RQ2 목적함수의 척도가 크게 다를 경우나 비미분 가능할 경우 기울기 정규화가 다중 목적 최적화 성능을 어떻게 향상시키는가?
• RQ3 MGDRec로 훈련된 단일 모델이 여러 지표에서 단일 목적함수 모델이나 가중합 기반 베이스라인을 동시에 초월할 수 있는가?
• RQ4 비미분 가능 목적함수—예를 들어 품질 콘텐츠 비율—를 포함할 경우 성능에 악영향을 미치는가? 이는 확률적 부분기울기 방법으로 보완될 수 있는가?
• RQ5 제안된 방법이 각 목적함수의 최적값을 동시에 달성하는 이론적 최적해에 가까운 해를 도출할 수 있는가?

주요 결과

• 기울기 정규화를 사용한 MGDRec은 상관관계가 있는 목적함수(예: 의미적 유사도와 수익)와 상관관계가 없는 목적함수(예: 의미적 유사도와 콘텐츠 품질) 모두에서 최신 기술보다 뛰어난 성능을 보였다.
• 아마존 무비 데이터로 확장된 Movielens 데이터셋에서, 기울기 정규화를 사용한 MGDRec은 모든 지표에서 최고의 성능을 기록했으며, 의미적 유사도와 수익 모두에서 단일 목적함수 모델을 초월했다.
• 이 방법은 추천 결과에 포함된 품질 콘텐츠 비율(예: 다큐멘터리)을 크게 증가시켰다. 이는 의미적 유사도의 약간의 감소로도 품질 콘텐츠 포함 비율이 급격히 증가할 수 있음을 보여준다.
• 기울기 정규화가 핵심이었다: 정규화 없이 사용한 MGD는 단일 목적함수 최적화와 유사한 성능을 보였으며, 이는 균형 잡힌 다중 목적 학습을 위해 정규화가 필수적임을 확인한다.
• 가중합 기반 베이스라인 역시 기울기 정규화의 이점을 얻었으며, 이는 정규화가 다양한 집계 전략에서 성능 향상에 기여함을 보여준다.
• 확률적 부분기울기 하강 방식(SMSGDA)을 사용한 MGDRec은 콘텐츠 품질과 같은 비미분 가능 목적함수를 성공적으로 최적화하여, 부드럽고 미분 가능한 함수를 넘어서도 이 방법의 강건성을 입증했다.