[논문 리뷰] DHEN: A Deep and Hierarchical Ensemble Network for Large-Scale Click-Through Rate Prediction

Buyun Zhang, Liang Luo외 15명|arXiv (Cornell University)|2022. 03. 11.

Sentiment Analysis and Opinion Mining인용 수 8

한 줄 요약

이 논문은 다양한 순서의 겹치지 않는 특징 상호작용을 포괄적으로 포착하기 위해 이질적인 상호작용 모듈을 조합하는 딥 및 계층적 앙상블 네트워크인 DHEN을 제안한다. 이는 클릭-through 레이트(CTR) 예측 성능을 향상시킨다. 공동 설계된 훈련 시스템을 활용하여, 대규모 CTR 데이터셋에서 최신 기준 모델 대비 0.27% 향상된 정규화 엔트로피와 1.2배 높은 훈련 처리량을 달성한다.

ABSTRACT

Learning feature interactions is important to the model performance of online advertising services. As a result, extensive efforts have been devoted to designing effective architectures to learn feature interactions. However, we observe that the practical performance of those designs can vary from dataset to dataset, even when the order of interactions claimed to be captured is the same. That indicates different designs may have different advantages and the interactions captured by them have non-overlapping information. Motivated by this observation, we propose DHEN - a deep and hierarchical ensemble architecture that can leverage strengths of heterogeneous interaction modules and learn a hierarchy of the interactions under different orders. To overcome the challenge brought by DHEN's deeper and multi-layer structure in training, we propose a novel co-designed training system that can further improve the training efficiency of DHEN. Experiments of DHEN on large-scale dataset from CTR prediction tasks attained 0.27\% improvement on the Normalized Entropy (NE) of prediction and 1.2x better training throughput than state-of-the-art baseline, demonstrating their effectiveness in practice.

연구 동기 및 목표

• 유사한 상호작용 순서를 주장함에도 불구하고 기존 CTR 모델이 다양한 데이터셋에서 성능에 일관성이 없음을 해결하기 위해.
• 동일한 유형의 상호작용 모듈이 특징 상호작용 간에 상호보완적이고 겹치지 않는 정보를 포착하지 못하는 한계를 극복하기 위해.
• 다양한 순서의 상호작용을 학습하면서도 훈련 효율성을 유지하는 계층적 앙상블 아키텍처를 설계하기 위해.
• 딥이고 다층적인 구조를 효율적으로 훈련시킬 수 있도록 지원하는 공동 설계된 훈련 시스템을 개발하기 위해.
• 더 높은 정확도와 훈련 처리량을 갖춘 최신 기술 수준의 CTR 예측 성능을 달성하기 위해.

제안 방법

• 각 레이어에 다양한 이질적인 상호작용 모듈(예: 어텐션 기반, 인수분해 기반, 피드포워드 기반 모듈)을 포함하는 계층적 아키텍처를 사용하여 다양한 상호작용 패턴을 포착한다.
• 각 레이어는 이질적 모듈의 출력 간 상관관계를 학습하는 앙상블 구성요소를 통합하여 기여도에 대한 동적 가중치를 부여한다.
• 잔차 연결과 멀티헤드 어텐션 메커니즘을 사용하여 깊은 스택 간에 기울기 흐름과 모델 표현력을 향상시킨다.
• 딥이고 다층적인 구조의 훈련 효율성을 최적화하기 위해 공동 설계된 훈련 시스템을 제안하여 계산 오버헤드를 감소시킨다.
• GIN이나 AutoFIS와 같은 모델이 두 번째 단계 재훈련이 필요로 하는 것과 달리, 종단간 훈련이 가능하도록 지원한다.
• 모든 파라미터, 특히 앙상블 및 상호작용 구성요소의 파라미터를 공동 최적화하여 표준 백프로파게이션을 사용해 종단간 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 이질적인 상호작용 모듈의 계층적 앙상블은 동종 모델 대비 다양한 데이터셋에서 CTR 예측 성능을 향상시킬 수 있는가?
• RQ2 동일한 순서의 특징 상호작용을 포착한다고 주장하는 모델들이 데이터셋 간 성능에 차이를 보이는 이유는 무엇인가?
• RQ3 딥이고 다층적인 앙상블 아키텍처는 훈련 효율성을 저하시키지 않고 특징 상호작용의 계층적 구조를 효과적으로 학습할 수 있는가?
• RQ4 다양한 상호작용 모듈에서 유래한 겹치지 않는 정보를 조합하면 모델의 일반화 능력과 견고성이 향상되는가?
• RQ5 공동 설계된 훈련 시스템은 대규모 CTR 환경에서 깊이 있는 계층적 모델의 훈련 처리량을 크게 향상시킬 수 있는가?

주요 결과

• DHEN은 최신 기준 모델 대비 대규모 CTR 예측 데이터셋에서 정규화 엔트로피(Normalized Entropy, NE) 0.27% 향상된 성능을 달성한다.
• 강력한 기준 모델 대비 1.2배 높은 훈련 처리량을 보이며, 훈련 효율성이 뛰어나다는 것을 확인한다.
• 성능 향상은 여러 데이터셋에서 일관되게 나타나 모델의 견고성과 일반화 능력을 입증한다.
• 계층적 앙상블 아키텍처는 다양한 상호작용 모듈에서 유래한 상호보완적이고 겹치지 않는 정보를 성공적으로 포착하여 모델 표현력을 향상시킨다.
• 공동 설계된 훈련 시스템은 깊이 있고 다층적인 아키텍처의 훈련 과제를 효과적으로 완화하여 두 번째 단계 재훈련 없이 종단간 훈련을 가능하게 한다.
• 제거 실험 결과는 이질적 모듈이 성능 향상에 독립적으로 기여하며, 단일 모듈보다 앙상블이 더 우수한 성능을 내는 것으로 확인된다.