[논문 리뷰] Visualizing and Understanding Deep Neural Networks in CTR Prediction

Guo Lin, Hui Ye외 4명|arXiv (Cornell University)|2018. 06. 22.

Advanced Graph Neural Networks참고 문헌 21인용 수 5

한 줄 요약

이 논문은 실시간으로 변화하는 생산 환경 데이터에서 깊이 있는 신경망(DNN)의 시각화 및 분석 프레임워크를 제안한다. 이는 활성화 통계, 기울기 기반 중요도 맵, 그리고 프로브 기반 계층별 성능 평가를 통해 클릭률(CTR) 예측에서 모델의 행동—과적합, 특성 민감도, 분포 이탈 등—을 뉴런 수준의 분석을 통해 진단하고 모니터링할 수 있음을 보여준다. 주요 기여는 산업 광고 시스템에서 모델 개선과 시스템 신뢰도 향상을 위해 필수적인 내부 분석 기법을 제공한다는 점이다.

ABSTRACT

Although deep learning techniques have been successfully applied to many tasks, interpreting deep neural network models is still a big challenge to us. Recently, many works have been done on visualizing and analyzing the mechanism of deep neural networks in the areas of image processing and natural language processing. In this paper, we present our approaches to visualize and understand deep neural networks for a very important commercial task--CTR (Click-through rate) prediction. We conduct experiments on the productive data from our online advertising system with daily varying distribution. To understand the mechanism and the performance of the model, we inspect the model's inner status at neuron level. Also, a probe approach is implemented to measure the layer-wise performance of the model. Moreover, to measure the influence from the input features, we calculate saliency scores based on the back-propagated gradients. Practical applications are also discussed, for example, in understanding, monitoring, diagnosing and refining models and algorithms.

연구 동기 및 목표

• 산업적 CTR 예측을 위한 딥러닝 모델의 해석 가능성 문제를 해결함으로써, 모델 신뢰도 및 성능 모니터링이 필수적인 환경에서의 응용을 목표로 한다.
• 매일 변화하는 데이터 분포를 가진 실세계 광고 시스템에서 깊이 있는 신경망이 희소하고 고차원적인 특징을 어떻게 처리하는지 이해하는 것.
• 기존 평가 지표에만 의존하지 않고, 모델 행동 진단, 과적합 탐지, 특성 중요도 평가가 가능한 실용적인 시각화 및 분석 기법을 개발하는 것.
• 피드백 레이블이 없더라도 내부 뉴런 통계와 기울기 신호를 활용해 모델 모니터링 및 건강 점검을 가능하게 하는 것.
• 과적합과 유사한 사용자 ID에 대한 민감도 등 구조적 비효율성과 특성 그룹의 민감도를 드러내어 모델 설계 및 특성 공학을 이끌어내는 것.

제안 방법

• 깊이가 깊어지는 계층에서의 뉴런 활성화 분포 분석을 통해 과적합과 상호 적응 현상을 탐지하며, 특히 더 깊은 계층에서의 영향을 중심으로 분석한다.
• 고차원 표현이 학습된 모델의 표현을 분석하고 잠재 공간 내 특성 군집화 상태를 평가하기 위해 t-SNE 시각화를 적용한다.
• 각 계층의 활성화를 기반으로 선형 분류기를 훈련시켜 계층별 성능을 평가하는 프로브 방법을 사용하여 표현 품질을 측정한다.
• 출력에서 입력 임베딩까지 기울기 역전파를 통해 중요도 점수를 계산하여 각 특성 그룹이 최종 예측에 미치는 영향을 정량화한다.
• 테스트 일자별로 뉴런 출력 통계(예: 평균, 표준편차)를 모니터링하여 분포 이탈 및 데이터 파이프라인 문제를 탐지한다.
• 과적합을 줄이고 일반화 성능을 향상시키기 위해 임베딩 레이어에서 사용자 ID를 제거하고 가중치를 학습할 수 있는 바이어스 항목으로 대체한다.

실험 결과

연구 질문

• RQ1 CTR 예측을 위한 DNN 내부의 뉴런 상태는 학습 과정과 함께 변화하는 데이터 분포에 따라 어떻게 진화하는가?
• RQ2 모델 예측에 가장 큰 영향을 미치는 특성 그룹은 무엇이며, 그 영향은 어떻게 정량적으로 측정할 수 있는가?
• RQ3 과적합과 상호 적응 현상은 어느 정도 깊은 계층에서 나타나며, 내부 모델 통계를 통해 어떻게 진단할 수 있는가?
• RQ4 계층별 성능 프로브를 통해 모델 내부의 구조적 비효율성 또는 표현 품질 저하를 탐지할 수 있는가?
• RQ5 내부 뉴런 통계와 기울기 신호는 온라인 광고 시스템에서 모델 건강도와 데이터 품질을 모니터링하는 데 있어 신뢰할 수 있는 레이블이 없는 지표로 활용될 수 있는가?

주요 결과

• 모델은 특히 레이어 4에서 과적합을 보이며, 뉴런 간 상관관계가 높고 입력에 민감하여 상호 적응 현상과 일반화 능력 저하가 나타난다.
• 레이어 4는 성능 기여도가 미미하여 제거해도 AUC에 영향을 주지 않으며, 현재 아키텍처에서의 중복성을 시사한다.
• 과적합 상태일 경우 사용자 ID 특성에 매우 민감하여 분포 외 데이터에 대해 일반화 성능이 떨어진다.
• 사용자 ID 임베딩을 학습 가능한 바이어스 항목으로 대체함으로써 AUC가 약 0.1% 향상됨을 통해 분석 기반 아키텍처 개선의 효과를 입증한다.
• 레이어 3의 뉴런 출력 통계(예: 표준편차)는 매일 변화하는 데이터 분포에 따라 크게 이동하며, 레이블이 없는 데이터 이탈 탐지 신호로 기능한다.
• 기울기 기반 중요도 맵을 통해 사용자 ID와 쿼리 특성이 가장 영향력이 크며, 성별 및 연령 등의 다른 특성 그룹은 예측에 거의 영향을 주지 않는다.