[논문 리뷰] Computation Resource Allocation Solution in Recommender Systems

Xun Yang, Yunli Wang외 5명|arXiv (Cornell University)|2021. 03. 03.

Recommender Systems and Techniques참고 문헌 23인용 수 4

한 줄 요약

이 논문은 계산 자원 할당 솔루션(CRAS)을 제안하며, 엄격한 계산 및 응답 시간 제약 조건 하에서 추천 시스템의 비즈니스 목표를 최대화하는 최적화 프레임워크이다. 단계별 후보 집합 크기 할당을 포함한 제약 조건이 있는 최적화 문제로 문제를 수립함으로써, CRAS는 수익 함수와 원시-이중 방법을 활용해 최적의 전략을 도출한다. 이는 알리바바의 디스play 광고 시스템에서 추가 계산 비용 없이 2.6%의 수익 증가를 통해 검증되었다.

ABSTRACT

Recommender systems rely heavily on increasing computation resources to improve their business goal. By deploying computation-intensive models and algorithms, these systems are able to inference user interests and exhibit certain ads or commodities from the candidate set to maximize their business goals. However, such systems are facing two challenges in achieving their goals. On the one hand, facing massive online requests, computation-intensive models and algorithms are pushing their computation resources to the limit. On the other hand, the response time of these systems is strictly limited to a short period, e.g. 300 milliseconds in our real system, which is also being exhausted by the increasingly complex models and algorithms. In this paper, we propose the computation resource allocation solution (CRAS) that maximizes the business goal with limited computation resources and response time. We comprehensively illustrate the problem and formulate such a problem as an optimization problem with multiple constraints, which could be broken down into independent sub-problems. To solve the sub-problems, we propose the revenue function to facilitate the theoretical analysis, and obtain the optimal computation resource allocation strategy. To address the applicability issues, we devise the feedback control system to help our strategy constantly adapt to the changing online environment. The effectiveness of our method is verified by extensive experiments based on the real dataset from Taobao.com. We also deploy our method in the display advertising system of Alibaba. The online results show that our computation resource allocation solution achieves significant business goal improvement without any increment of computation cost, which demonstrates the efficacy of our method in real industrial practice.

연구 동기 및 목표

• 카스케이드 아키텍처를 가진 산업용 추천 시스템에서 계산 비용, 응답 시간, 모델 성능 간 균형을 맞추는 도전 과제를 해결하기 위해.
• 고정된 계산 및 응답 시간 예산 하에서 사전 순위, 굵은 순위, 정밀 순위 단계에서 최적의 후보 집합 크기를 특정하기 위해.
• 실시간 온라인 환경에서 비즈니스 목표(예: 광고 수익)를 최대화할 수 있는 이론적으로 탄탄하고 유연한 전략을 개발하기 위해.
• 시스템 자원 소비나 지연 시간을 늘리지 않고 고급 모델의 실질적 구현을 가능하게 하기 위해.

제안 방법

• 전체 계산 자원 할당 문제를 총 계산 및 응답 시간에 대한 다중 제약 조건이 있는 제약 최적화 문제로 수식화한다.
• 전체 문제를 각 시스템 단계별로 독립된 하위 문제로 분할하여 단계별 최적화를 가능하게 한다.
• 후보 광고의 마진 수익을 모델링하기 위해 수익 함수를 도입함으로써 이론적 분석과 최적화를 촉진한다.
• 원시-이중 방법을 적용하여 최적의 할당 전략을 유도하며, 경제적 관점(예: 그 sombreness 가격)으로 해석 가능하다.
• 변동하는 온라인 요청 특성과 시스템 조건에 대응하기 위해 동적으로 할당 전략을 적응시키는 피드백 제어 시스템을 설계한다.
• 기존의 카스케이드 아키텍처와 통합하여 알리바바의 디스플레이 광고 플랫폼과 같은 실제 산업 시스템에 원활하게 구현할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 고정된 계산 및 응답 시간 제약 조건 하에서 카스케이드 추천 시스템의 다중 단계에 걸쳐 계산 자원을 어떻게 최적 할당할 수 있는가? 이는 비즈니스 목표를 최대화하기 위해.
• RQ2 다단계 순위 파이프라인에서 각 단계의 최적 후보 집합 크기를 결정하는 데 이론적 기초는 무엇인가?
• RQ3 요청 특성이 변하는 동적 온라인 환경에 대응하기 위해 할당 전략은 어떻게 적응시킬 수 있는가?
• RQ4 제안된 방법은 계산 비용이나 지연 시간을 늘리지 않으면서 비즈니스 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• CRAS는 추가 계산 비용 없이 실제 알리바바 디스플레이 광고 시스템에서 기준 대비 2.60%의 수익 향상을 달성한다.
• 응답 시간 할당을 최적화한 메서드 CRAS₄(D₁=12000, D₂=3500, D₃=450)는 응답 시간 할당이 덜 최적화된 CRAS₁(D₁=10500, D₂=3500, D₃=550)보다 1.76% 높은 수익을 기록하여 응답 시간 할당의 가치를 입증한다.
• 피드백 제어 시스템은 변화하는 온라인 조건에 대응할 수 있도록 전략을 적응시켜 동적 산업 환경에서 지속적인 성능을 보장한다.
• 실제 타오바오.com 데이터를 활용한 광범위한 실험을 통해 CRAS는 오프라인 및 온라인 환경에서 고정 임계값 기반 기준 방법보다 뛰어난 성능을 입증한다.
• 원시-이중 방법을 통해 도출된 전략은 이론적으로 탄탄하고 경제적으로 해석 가능한 자원 할당 메커니즘을 제공하여 시스템의 투명성과 확장성을 향상시킨다.
• 이 프레임워크는 기존 추천 알고리즘과 호환되며, 어떤 카스케이드 기반 시스템에도 통합되어 효율성과 비즈니스 성과를 향상시킬 수 있다.