[論文レビュー] Field-aware Factorization Machines in a Real-world Online Advertising System

Yu-Chin Juan, Damien Lefortier+1 more|arXiv (Cornell University)|Jan 15, 2017

Stochastic Gradient Optimization Techniques参考文献 21被引用数 9

ひとこと要約

この論文は、フィールドに依存する因子分解機械（FFM）が、現実のオンライン広告システムにおいてクリックスルーレートおよびコンversionレート予測を顕著に改善することを示している。ロジスティック回帰を上回る性能を発揮しており、著者らは予め不完全に訓練したモデルからの初期化戦略（pre-mature warm-start）と分散学習を導入することで、FFMの学習時間を最大20倍短縮し、高いモデル精度を維持したまま本番環境での効率的導入を可能にした。

ABSTRACT

Predicting user response is one of the core machine learning tasks in computational advertising. Field-aware Factorization Machines (FFM) have recently been established as a state-of-the-art method for that problem and in particular won two Kaggle challenges. This paper presents some results from implementing this method in a production system that predicts click-through and conversion rates for display advertising and shows that this method it is not only effective to win challenges but is also valuable in a real-world prediction system. We also discuss some specific challenges and solutions to reduce the training time, namely the use of an innovative seeding algorithm and a distributed learning mechanism.

研究の動機と目的

• 大規模な本番広告システムにおけるクリックスルーレートおよびコンバージョンレート予測の分野で、フィールドに依存する因子分解機械（FFM）の有効性を評価すること。
• 本番環境におけるFFMモデルの学習にかかる高コストな計算負荷を、モデル性能を損なわず短縮すること。
• より速い収束とリソース使用量の削減を実現するための分散学習フレームワークと革新的な初期化戦略の開発および検証。
• オффラインおよびオンラインA/Bテスト環境において、FFMと標準的なロジスティック回帰モデルを比較すること。
• FFMの優れた一般化能力が、特に中小広告主にとって測定可能なビジネス改善に繋がるかどうかを調査すること。

提案手法

• 著者らは、表示広告のリアルタイム入札システムにFFMを実装し、特徴間の相互作用の文脈に応じて変化するフィールドに依存する埋め込み表現を用いた。
• 完全な学習を開始する前に、前回のモデルから重みを初期化する「pre-mature warm-start」技術を導入し、必要なエポック数を削減した。
• 複数のマシンに学習を分散させることでスケーラビリティを向上させる分散学習フレームワークを採用し、処理速度を向上させたが、計算コストは増加した。
• ウォームスタート法は、必要なエポック数よりも少ない回数で学習を実行した後、その結果を次の学習サイクルの初期化に使用する、切り詰めた訓練プロセスを採用している。
• 各学習ステップでバリデーション損失に基づく早期停止機構を導入し、最良のモデルを各ステップから選択した。
• オフラインおよびオンラインA/Bテストを実施し、ログ損失やビジネスKPIを含む複数の指標において、FFMとロジスティック回帰ベースラインを比較した。

実験結果

リサーチクエスチョン

• RQ1 フィールドに依存する因子分解機械（FFM）は、表示広告のクリックスルーレートおよびコンバージョンレート予測において、現実世界の環境でロジスティック回帰を上回る性能を発揮できるか？
• RQ2 本番システムにおける大規模なFFMモデルの学習において、主な計算ボトル neck は何か？
• RQ3 pre-mature warm-start 初期化戦略は、FFMの学習時間を短縮し、収束を改善するためにどれほど有効か？
• RQ4 ウォームスタートと分散学習を組み合わせることで、FFMの学習をさらに高速化し、モデル品質を維持できるか？
• RQ5 ロジスティック回帰よりも優れた一般化能力を持つFFMが、特に中小広告主にとって測定可能なビジネス指標の向上に繋がるか？

主な発見

• FFMはオフラインのログ損失およびオンラインA/Bテストの両方でロジスティック回帰を顕著に上回り、テストセットにおけるログ損失で相対的に5.5%の改善を達成した。
• pre-mature warm-start 法により、エポック数がベースラインの315から103に削減され、合計の学習時間が20.6時間から6.8時間に短縮された。
• pre-mature warm-start を用いて4ブロックの学習データのみを使用した場合、ベースラインで使用された44ブロックよりも高い性能を達成し、学習時間を0.9時間（20倍の高速化）にまで短縮した。
• 1ステップあたり1ブロックのデータしか使用しない「オンライン」ウォームスタートバージョンでも、ベースラインを上回る性能を示したが、著者らは安定性とデータ品質への感受性が低いため、pre-mature法をより好む。
• ウォームスタートアプローチにより、エポック数の削減によって合計計算量が減少し、分散学習単体よりも効率的であった。
• FFMは優れた一般化能力を示し、過去の学習ステップからの知識を保持していたため、過去のパターンを内蔵的に記憶していると考えられる。