[논문 리뷰] Deep Embedding Forest: Forest-based Serving with Deep Embedding Features

Jie Zhu, Ying Shan외 4명|arXiv (Cornell University)|2017. 03. 15.

Face and Expression Recognition참고 문헌 18인용 수 4

한 줄 요약

이 논문은 고차원적 특징을 저차원 벡터로 매핑하는 딥 네ural 네트워크(DNN) 임베딩 레이어와 트리 기반 모델(XGBoost, LightGBM 등)을 조합한 하이브리드 모델인 딥 임베딩 포레스트를 제안한다. 이는 DNN 수준의 성능를 달성하면서도 포레스트 수준의 추론 속도를 확보한다. 고차원적 특징을 저차원 벡터로 매핑하는 임베딩 레이어를 훈련하고, 빠른 추론을 위해 트리 앙상블를 사용함으로써, DNN보다 추론 시간을 극적으로 단축하면서도 대규모 광고 검색 데이터에서 near-optimal 정확도를 유지한다.

ABSTRACT

Deep Neural Networks (DNN) have demonstrated superior ability to extract high level embedding vectors from low level features. Despite the success, the serving time is still the bottleneck due to expensive run-time computation of multiple layers of dense matrices. GPGPU, FPGA, or ASIC-based serving systems require additional hardware that are not in the mainstream design of most commercial applications. In contrast, tree or forest-based models are widely adopted because of low serving cost, but heavily depend on carefully engineered features. This work proposes a Deep Embedding Forest model that benefits from the best of both worlds. The model consists of a number of embedding layers and a forest/tree layer. The former maps high dimensional (hundreds of thousands to millions) and heterogeneous low-level features to the lower dimensional (thousands) vectors, and the latter ensures fast serving. Built on top of a representative DNN model called Deep Crossing, and two forest/tree-based models including XGBoost and LightGBM, a two-step Deep Embedding Forest algorithm is demonstrated to achieve on-par or slightly better performance as compared with the DNN counterpart, with only a fraction of serving time on conventional hardware. After comparing with a joint optimization algorithm called partial fuzzification, also proposed in this paper, it is concluded that the two-step Deep Embedding Forest has achieved near optimal performance. Experiments based on large scale data sets (up to 1 billion samples) from a major sponsored search engine proves the efficacy of the proposed model.

연구 동기 및 목표

• 강력한 성능를 보이는 딥 네럴 네트워크(DNN)의 생산 환경에서의 높은 추론 비용 문제를 해결하기 위해.
• 고차원적이고 이질적인 특징에 대해 광범위한 수동 특징 공학을 필요로 하는 트리 기반 모델의 한계를 극복하기 위해.
• DNN를 통한 자동 특징 학습과 트리 모델을 통한 저비용 추론을 융합한 하이브리드 아키텍처를 개발하기 위해.
• 특수 가속기(GPU, FPGA 등) 없이도 표준 CPU 하드웨어에서 효율적이고 확장 가능한 추론을 가능하게 하기 위해.
• 두 단계 훈련 전략이 공동 최적화에 비해 near-optimal 성능를 달성할 수 있음을 입증하기 위해.

제안 방법

• 모델은 고차원적이고 이질적인 특징(예: 텍스트, 순서형 변수 등)으로부터 저차원 밀집 임베딩을 학습하기 위해 DNN 백본(Deep Crossing 기반)을 사용한다.
• 임베딩 레이어의 출력은 트리 기반 모델(XGBoost 또는 LightGBM 등)에 입력되며, 이는 결정 경로를 통한 빠른 추론을 수행한다.
• 두 단계 훈련 과정에서 먼저 사전 훈련된 DNN 가중치를 사용해 임베딩 레이어를 초기화한 후, 임베딩된 특징에 대해 트리 레이어를 훈련한다.
• 경사 하강법을 통한 역전파를 통해 임베딩 표현과 트리 파라미터를 동시에 개선하기 위해, 부분 흐림화(partial fuzzification)라고 불리는 공동 최적화 기법을 도입한다.
• 트리 레이어는 각 내부 노드가 시그모이드 기반 라우팅 함수를 적용해 왼쪽 또는 오른쪽으로 가는 확률을 결정하는 미분 가능한 소프트 스플릿 메커니즘을 사용한다. 이는 트리 구조를 따라 경사가 흐르게 하여 가능하게 한다.
• 최종 예측은 리프 노드 출력의 가중 평균으로 계산되며, 원시 점수는 시그모이드 함수를 통해 최종 확률로 변환된다.

실험 결과

연구 질문

• RQ1 DNN와 트리 기반 모델을 조합한 하이브리드 모델이 DNN 수준의 성능를 달성하면서도 트리 모델 수준의 저비용 추론을 유지할 수 있는가?
• RQ2 이러한 하이브리드 환경에서 두 단계 훈련 전략이 종단 간 공동 최적화에 비해 얼마나 효과적인가?
• RQ3 DNN로 학습된 임베딩을 사용할 경우, 수동 특징 공학 없이도 트리 기반 모델의 성능를 얼마나 향상시킬 수 있는가?
• RQ4 제안된 모델은 빌리언 샘플 데이터 세트로 확장 가능하며, 표준 CPU 하드웨어에서 낮은 추론 지연을 유지할 수 있는가?
• RQ5 부분 흐림화 알고리즘은 다른 공동 최적화 방법에 비해 수렴성과 최종 성능 측면에서 어떻게 비교되는가?

주요 결과

• 두 단계로 구성된 딥 임베딩 포레스트 방법은 대규모 광고 검색 데이터에서 전체 DNN 베이스라인과 비슷하거나 略로 뛰어난 성능를 달성한다.
• 추론 시간은 DNN 모델 대비 극적으로 단축되어 표준 CPU 하드웨어에서 near-트리 수준의 추론 속도를 확보한다.
• 모델은 강력한 확장성을 보이며, 최대 10억 개 샘플의 데이터 세트에서 성공적으로 훈련 및 추론을 수행한다.
• 부분 흐림화 공동 최적화 방법은 near-optimal 성능로 수렴함으로써, 두 단계 접근 방식의 효과성을 입증한다.
• XGBoost와 LightGBM를 포함한 다양한 트리 기반 백본에서 높은 성능를 유지함으로써, 모델 선택에 대한 강건성을 보여준다.
• 미분 가능한 소프트 스플릿을 사용함으로써 트리 구조를 따라 효과적인 역전파가 가능해져, 임베딩과 트리 파라미터의 공동 최적화가 가능해진다.