[논문 리뷰] DCN-M: Improved Deep & Cross Network for Feature Cross Learning in Web-scale Learning to Rank Systems.

Ruoxi Wang, Rakesh Shivanna외 5명|arXiv (Cornell University)|2020. 08. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 24인용 수 13

한 줄 요약

이 논문은 웹 스케일 러닝-투-랭크 시스템에서 표현력을 높이기 위해 저랭크 혼합 아키텍처를 통해 표현력을 향상시키면서도 계산 효율성을 유지하는 개선된 딥 앤 크로스 네트워크 아키텍처인 DCN-M을 제안한다. DCN-M은 벤치마크 데이터셋에서 최신 기술 모델들을 능가하며 오프라인 정확도와 온라인 비즈니스 지표 모두에서 뚜렷한 성과 향상을 이룬다.

ABSTRACT

Learning effective feature crosses is the key behind building recommender systems. However, the sparse and large feature space requires exhaustive search to identify effective crosses. Deep & Cross Network (DCN) was proposed to automatically and efficiently learn bounded-degree predictive feature interactions. Unfortunately, in models that serve web-scale traffic with billions of training examples, DCN showed limited expressiveness in its cross network at learning more predictive feature interactions. Despite significant research progress made, many deep learning models in production still rely on traditional feed-forward neural networks to learn feature crosses inefficiently. In light of the pros/cons of DCN and existing feature interaction learning approaches, we propose an improved framework DCN-M to make DCN more practical in large-scale industrial settings. In a comprehensive experimental study with extensive hyper-parameter search and model tuning, we observed that DCN-M approaches outperform all the state-of-the-art algorithms on popular benchmark datasets. The improved DCN-M is more expressive yet remains cost efficient at feature interaction learning, especially when coupled with a mixture of low-rank architecture. DCN-M is simple, can be easily adopted as building blocks, and has delivered significant offline accuracy and online business metrics gains across many web-scale learning to rank systems.

연구 동기 및 목표

• 대규모 산업 환경에서 고차원 특징 상호작용을 학습하는 데에 원래 DCN의 표현력이 제한되어 있는 문제를 해결하기 위해.
• 수십억 개의 훈련 예제를 포함한 웹 스케일 러닝-투-랭크 시스템에서 특징 상호작용 학습의 효율성과 확장성을 향상시키기 위해.
• 예측 성능을 크게 향상시키면서도 낮은 계산 비용을 유지하는 실용적이고 모듈러한 딥 러닝 프레임워크를 개발하기 위해.
• DCN에 대한 아키텍처 개선을 통해 다양한 웹 스케일 랭킹 응용 분야에서 더 나은 일반화와 성능을 달성하기 위해.
• 크로스 네트워크에 저랭크 혼합 설계를 도입함으로써 모델 용량을 효과적으로 향상시키면서도 추론 효율성을 희생하지 않는지 입증하기 위해.

제안 방법

• 표현력을 높이면서도 파라미터 효율성을 유지하기 위해 DCN의 크로스 네트워크 내에 저랭크 혼합 아키텍처를 도입한다.
• 각 레이어에서 다수의 저랭크 변환을 허용하여 더 풍부한 특징 상호작용 모델링을 가능하게 한다.
• 원래 DCN의 잔차 연결 및 크로스 특징 상호작용 메커니즘을 유지하되, 저랭크 파라미터 공유 기능을 추가로 구현한다.
• 각 특징 상호작용에 대해 다수의 저랭크 구성 요소를 동적으로 선택하고 조합하기 위한 게이팅 메커니즘을 활용한다.
• 기존의 딥 러닝 파이프라인에 쉽게 통합할 수 있도록 모듈러한 아키텍처를 설계하여 산업용 추천 및 랭킹 시스템에 적용 가능하도록 한다.
• 저랭크 혼합 설계의 효과를 검증하기 위해 광범위한 초모수 튜닝 및 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 크로스 네트워크에 저랭크 혼합 아키텍처를 도입하면 계산 비용을 증가시키지 않으면서도 DCN의 표현력을 뚜렷이 향상시킬 수 있는가?
• RQ2 표준 벤치마크 데이터셋에서 DCN-M은 최신 기술 모델들과 비교해 예측 성능에서 어떤가?
• RQ3 실제 웹 스케일 러닝-투-랭크 시스템에서 DCN-M은 오프라인 정확도와 온라인 비즈니스 지표를 얼마나 향상시키는가?
• RQ4 저랭크 혼합 설계가 희소하고 고차원적인 공간에서 다양한 특징 상호작용 패턴에 대해 더 나은 일반화를 가능하게 하는가?
• RQ5 수십억 개의 훈련 예제를 포함한 산업 환경에서 DCN-M은 얼마나 확장 가능하고 효율적인가?

주요 결과

• DCN-M은 인기 있는 벤치마크 데이터셋에서 최신 기술 모델들을 능가하는 최상의 성능을 기록하며, 특징 상호작용 학습 분야에서 기존 딥 러닝 모델들을 압도한다.
• 저랭크 혼합 아키텍처는 낮은 계산 오버헤드를 유지하면서도 모델의 표현력을 뚜렷이 향상시킨다.
• 다양한 웹 스케일 러닝-투-랭크 시스템에서 오프라인 평가 지표와 온라인 비즈니스 KPI 모두에 실질적인 향상을 이룬다.
• 모델은 실용적이며 산업용 딥 러닝 파이프라인의 모듈러한 구성 요소로 쉽게 배포 가능하다.
• 광범위한 초모수 튜닝 결과, DCN-M이 기준 모델 대비 뛰어난 강건성과 일관된 우수성을 입증한다.
• DCN-M의 향상된 표현력 덕분에 희소하고 대규모의 특징 공간에서 복잡한 고차원 특징 상호작용을 더 효과적으로 학습할 수 있다.