[論文レビュー] AutoFT: Automatic Fine-Tune for Parameters Transfer Learning in Click-Through Rate Prediction

Xiangli Yang, Qing Liu+4 more|arXiv (Cornell University)|Jun 9, 2021

Recommender Systems and Techniques参考文献 26被引用数 4

ひとこと要約

AutoFTは、埋め込みフィールドおよびネットワーク層のインスタンス固有の転送ポリシーを学習する、クリックストラックレート（CTR）予測のためのエンドツーエンドで自動的な微調整フレームワークを提案する。Gumbel-Softmaxを用いた軽量なポリシーネットワークを採用することで、手動のハイパーパrameterチューニングを伴わず、最先端の手法を上回る性能を発揮し、MovieLens-1Mでは最大0.7932 AUC、Amazonでは0.7166 AUCを達成し、多様なターゲットドメインにおける一般化性能を顕著に向上させる。

ABSTRACT

Recommender systems are often asked to serve multiple recommendation scenarios or domains. Fine-tuning a pre-trained CTR model from source domains and adapting it to a target domain allows knowledge transferring. However, optimizing all the parameters of the pre-trained network may result in over-fitting if the target dataset is small and the number of parameters is large. This leads us to think of directly reusing parameters in the pre-trained model which represent more general features learned from multiple domains. However, the design of freezing or fine-tuning layers of parameters requires much manual effort since the decision highly depends on the pre-trained model and target instances. In this work, we propose an end-to-end transfer learning framework, called Automatic Fine-Tuning (AutoFT), for CTR prediction. AutoFT consists of a field-wise transfer policy and a layer-wise transfer policy. The field-wise transfer policy decides how the pre-trained embedding representations are frozen or fine-tuned based on the given instance from the target domain. The layer-wise transfer policy decides how the high?order feature representations are transferred layer by layer. Extensive experiments on two public benchmark datasets and one private industrial dataset demonstrate that AutoFT can significantly improve the performance of CTR prediction compared with state-of-the-art transferring approaches.

研究の動機と目的

• 小規模なターゲットドメインデータセット上で大規模な事前学習済みCTRモデルを微調整する際の過学習の課題に対処すること。
• 各インスタンスに対して、どのモデルコンponent（埋め込みまたはレイヤー）を凍結するか、または微調整するかを手動で決定する作業を排除すること。
• アーキテクチャに依存しない、さまざまなディープCTRモデルと互換性を持つ転送学習フレームワークを構築すること。
• 埋め込みフィールドおよびネットワークレイヤーのための動的ポリシーを学習することで、細分化されたインスタンス固有の知識転送を実現すること。
• 事前学習モデルから一般化された特徴を効果的に再利用しつつ、ターゲットドメイン固有のパターンに適応することで、ターゲットドメインにおけるCTR予測性能を向上させること。

提案手法

• AutoFTは、ターゲットインスタンスに応じて、各特徴フィールドに対して事前学習済みの埋め込み表現か微調整済みの表現かを決定するフィールド単位の転送ポリシーを導入する。
• 深層ネットワークおよびクロスネットワーク内の各レイヤーに対して、事前学習済みパラメータか微調整済みパラメータかを決定するレイヤー単位の転送ポリシーを採用する。
• 転送意思決定の微分可能なサンプリングを可能にするGumbel-Softmaxリラクゼーションを用いて、エンドツーエンドで軽量なポリシーネットワークを訓練する。
• CTR予測ヘッドと転送ポリシーを同時に最適化することで、各インスタンスごとに最適なパラメータ再利用戦略を学習可能にする。
• バックボーンネットワークから転送ポリシーを分離することで、DCN、DNN、DeepFMなど、さまざまなディープCTRモデルアーキテクチャと互換性を持つ。
• 実験では、パブリック（MovieLens-1M、Amazon）およびプライベート産業界データセットを対象に、AUCとlog lossを評価指標として用い、性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 全微調整や固定凍結戦略と比較して、自動的でインスタンス固有の転送ポリシーはCTR予測性能を向上させるか？
• RQ2 異なる埋め込みフィールドを部分的に転送することで、フィールド単位のポリシーは性能にどのように影響するか？
• RQ3 レイヤー単位のポリシーは、より高いレイヤーに多くの微調整を割り当て、それらがドメイン固有の性質を反映しているか？
• RQ4 AutoFTは、異なるネットワークの深さや幅を持つ多様なディープCTRモデルと互換性を持つか？
• RQ5 アイテムやユーザーの重複度が異なるデータセット間でも、学習された転送ポリシーは一般化可能か？

主な発見

• MovieLens-1Mでは0.7932 AUC、Amazonのレビューデータでは0.7166 AUCを達成し、All-Fine-Tuneベースラインをそれぞれ0.0089および0.0025 AUC上回る。
• フィールド単位のポリシーを削除するか、レイヤー単位のポリシーネットワークの1つを削除すると、性能が顕著に低下し、それぞれの貢献度が確認された。
• MovieLens-1Mでは、フィールド単位のポリシーがレイヤー単位のポリシーを上回る性能向上寄与を示しており、フィールドレベルの転送に大きな利点があることが示唆された。
• 可視化の結果、高レイヤーの80％のインスタンスで微調整済みパラメータが使用されていることが判明し、深いレイヤーがよりドメイン固有であることを示唆している。
• DCN、DNN、DeepFMなど、さまざまなCTRモデルにおいて一貫した性能向上を示しており、多様なアーキテクチャと強い互換性があることが確認された。
• 事前学習モデルから一般化された特徴を部分的に再利用することで、小規模なターゲットデータセットにおける過学習を低減し、ターゲット固有のパターンに適応する能力を向上させた。