[論文レビュー] Visualizing and Understanding Deep Neural Networks in CTR Prediction

Guo Lin, Hui Ye+4 more|arXiv (Cornell University)|Jun 22, 2018

Advanced Graph Neural Networks参考文献 21被引用数 5

ひとこと要約

本論文は、現実の日々変化するプロダクションデータを用いたクリックストラックレート（CTR）予測における深層ニューラルネットワーク（DNN）の包括的な可視化および分析フレームワークを提案する。本手法では、活性化統計、勾配に基づく重要度マップ、およびプローブベースのレイヤーごとの性能評価を用いる。主な貢献は、モデルの挙動（過学習、特徴への感受性、分布シフトなど）がニューロンレベルの分析によって診断・監視可能であることを示したことであり、これにより産業的広告システムにおけるモデルの最適化とシステム信頼性の向上が可能になる。

ABSTRACT

Although deep learning techniques have been successfully applied to many tasks, interpreting deep neural network models is still a big challenge to us. Recently, many works have been done on visualizing and analyzing the mechanism of deep neural networks in the areas of image processing and natural language processing. In this paper, we present our approaches to visualize and understand deep neural networks for a very important commercial task--CTR (Click-through rate) prediction. We conduct experiments on the productive data from our online advertising system with daily varying distribution. To understand the mechanism and the performance of the model, we inspect the model's inner status at neuron level. Also, a probe approach is implemented to measure the layer-wise performance of the model. Moreover, to measure the influence from the input features, we calculate saliency scores based on the back-propagated gradients. Practical applications are also discussed, for example, in understanding, monitoring, diagnosing and refining models and algorithms.

研究の動機と目的

• 産業的CTR予測における深層学習モデルの解釈性課題に対処し、モデルの信頼性と性能監視が不可欠であることを踏まえる。
• 日々変化するデータ分布を伴う現実の広告システムにおいて、スパースで高次元の特徴をどのように処理しているかを理解すること。
• 標準的な評価指標に依存せず、モデル挙動の診断、過学習の検出、特徴の重要度の評価が可能な実用的な可視化および分析手法の開発。
• フィードバックラベルが存在しない状況でも、内部ニューロン統計と勾配信号を用いてモデル監視および健全性チェックを可能にする。
• 構造的な非効率性や特徴グループの感受性（例：ユーザーIDへの過学習）を明らかにすることで、モデル設計と特徴工学の指針を提供。

提案手法

• 隠れ層におけるニューロン活性化分布の分析により、特に深い層で過学習や共適応を検出する。
• t-SNEを用いた可視化により、モデルが学習した高次元表現の特徴を検査し、潜在空間における特徴クラスタリングの状態を評価する。
• 各層の活性化から線形分類器を訓練することで、プローブ法を用いてレイヤーごとの性能を評価し、表現品質を測定する。
• 出力から入力埋め込みへと逆伝播された勾配を用いて重要度スコアを計算し、各特徴グループが最終予測に与える影響を定量化する。
• テスト日ごとのニューロン出力統計（例：平均、標準偏差）をモニタリングすることで、分布シフトやデータパイプラインの問題を検出する。
• ユーザーIDを埋め込み層から削除し、学習可能なバイアス項に置き換えることで、過学習の低減と一般化性能の向上を図るモデルアーキテクチャの修正。

実験結果

リサーチクエスチョン

• RQ1 CTR予測用DNNのニューロン内部状態は、学習過程および日々変化するデータ分布に伴い、どのように変化するか？
• RQ2 どの特徴グループがモデル予測に最も大きな影響を与えているか？その影響はどのように定量的に測定できるか？
• RQ3 過学習と共適応はどの程度深い層に顕在化し、内部モデル統計を用いてどのように診断できるか？
• RQ4 レイヤーごとの性能プローブは、モデルの構造的非効率性や表現の劣化を明らかにできるか？
• RQ5 内部ニューロン統計と勾配信号は、オンライン広告システムにおけるモデル健全性とデータ品質の監視に、ラベルなしで信頼できる指標として機能できるか？

主な発見

• モデルは深い層（特にレイヤー4）で過学習を示しており、高いニューロン相関と入力への感受性が見られ、共適応と一般化性能の低下を示唆している。
• レイヤー4は性能にほとんど寄与していないことが判明しており、この層を削除してもAUCに影響がないため、現在のアーキテクチャに冗長性があると示唆されている。
• 過学習が生じた際、ユーザーID特徴に極めて感受性が高く、分布外データでは一般化性能が著しく低下する。
• ユーザーID埋め込みを学習可能なバイアス項に置き換えることで、AUCが約0.1%向上し、分析に基づくアーキテクチャの最適化の有効性が実証された。
• レイヤー3のニューロン出力統計（例：標準偏差）は、日々のデータ分布の変化に伴い顕著に変化しており、ラベルなしのデータドリフト検出信号として有効である。
• 勾配に基づく重要度マップにより、ユーザーIDおよびクエリ特徴が最も予測に大きな影響を与えていることが判明したが、性別や年齢などの他の特徴グループは予測にほとんど影響を与えていなかった。