[논문 리뷰] AutoFT: Automatic Fine-Tune for Parameters Transfer Learning in Click-Through Rate Prediction

Xiangli Yang, Qing Liu외 4명|arXiv (Cornell University)|2021. 06. 09.

Recommender Systems and Techniques참고 문헌 26인용 수 4

한 줄 요약

AutoFT는 임베딩 필드와 네트워크 레이어에 대해 인스턴스별 전이 정책을 학습하는 엔드 투 엔드, 자동 미세조정 프레임워크를 제안한다. 가벼운 정책 네트워크와 Gumbel-Softmax를 사용함으로써 AutoFT는 최신 기술을 초월하여, 수동 하이퍼파라미터 튜닝 없이 다양한 타겟 도메인에서 일반화 성능을 크게 향상시키며, MovieLens-1M에서 최대 0.7932 AUC, Amazon에서 0.7166 AUC를 달성한다.

ABSTRACT

Recommender systems are often asked to serve multiple recommendation scenarios or domains. Fine-tuning a pre-trained CTR model from source domains and adapting it to a target domain allows knowledge transferring. However, optimizing all the parameters of the pre-trained network may result in over-fitting if the target dataset is small and the number of parameters is large. This leads us to think of directly reusing parameters in the pre-trained model which represent more general features learned from multiple domains. However, the design of freezing or fine-tuning layers of parameters requires much manual effort since the decision highly depends on the pre-trained model and target instances. In this work, we propose an end-to-end transfer learning framework, called Automatic Fine-Tuning (AutoFT), for CTR prediction. AutoFT consists of a field-wise transfer policy and a layer-wise transfer policy. The field-wise transfer policy decides how the pre-trained embedding representations are frozen or fine-tuned based on the given instance from the target domain. The layer-wise transfer policy decides how the high?order feature representations are transferred layer by layer. Extensive experiments on two public benchmark datasets and one private industrial dataset demonstrate that AutoFT can significantly improve the performance of CTR prediction compared with state-of-the-art transferring approaches.

연구 동기 및 목표

• 소규모 타겟 도메인 데이터셋에서 대규모 사전 훈련된 CTR 모델을 미세조정할 때 과적합 문제를 해결하기 위해.
• 각 인스턴스에 대해 어떤 모델 구성 요소(임베딩 또는 레이어)를 동 冻결하거나 미세조정할지 수동으로 결정하는 데 드는 노력을 제거하기 위해.
• 아키텍처에 관계없이 다양한 딥 CTR 모델과 호환되는 전이 학습 프레임워크를 개발하기 위해.
• 임베딩 필드와 네트워크 레이어에 대한 동적 정책을 학습하여 세밀하고 인스턴스별 지식 전이를 가능하게 하기 위해.
• 사전 훈련된 모델에서 일반적인 특징을 선택적으로 재사용하면서 타겟 도메인의 특수 패턴에 적응함으로써 타겟 도메인에서의 CTR 예측 성능을 향상시키기 위해.

제안 방법

• AutoFT는 타겟 인스턴스에 따라 각 특징 필드에 대해 사전 훈련된지 또는 미세조정된 임베딩 표현을 사용할지 결정하는 필드 수준의 전이 정책을 도입한다.
• 딥 및 크로스 네트워크의 각 레이어에 대해 사전 훈련된지 또는 미세조정된 파라미터를 사용할지 결정하는 레이어 수준의 전이 정책을 적용한다.
• 전이 결정의 미분 가능 샘플링을 가능하게 하기 위해 Gumbel-Softmax 리lâ크레이션을 사용하는 경량 정책 네트워크를 타겟 모델과 함께 엔드 투 엔드로 훈련한다.
• CTR 예측 헤드와 전이 정책을 함께 최적화함으로써, 각 인스턴스에 대해 최적의 파라미터 재사용 전략을 학습할 수 있도록 한다.
• 백본 네트워크에서 전이 정책을 분리함으로써, DCN, DNN, DeepFM와 같은 다양한 딥 CTR 모델 아키텍처와 호환 가능하다.
• 실험에서는 공개(MovieLens-1M, Amazon) 및 비공개 산업 데이터셋에서 AUC와 로그 손실을 평가 지표로 사용하여 성능를 검증한다.

실험 결과

연구 질문

• RQ1 전체 미세조정 또는 고정된 동결 전략에 비해 자동으로, 인스턴스별 전이 정책이 CTR 예측 성능을 향상시킬 수 있는가?
• RQ2 다른 임베딩 필드를 선택적으로 전이할 때 필드 수준의 정책이 성능에 어떤 영향을 미치는가?
• RQ3 레이어 수준의 정책이 더 깊은 레이어에 더 많은 미세조정을 자동으로 할당하여 그들이 도메인 특수성을 반영하는가?
• RQ4 AutoFT는 다양한 깊이와 너비를 가진 딥 CTR 모델과 호환되는가?
• RQ5 다른 아이템과 사용자 간의 겹침이 다양한 데이터셋 간에도 학습된 전이 정책이 일반화되는가?

주요 결과

• AutoFT는 MovieLens-1M에서 0.7932 AUC, Amazon 리뷰 데이터에서 0.7166 AUC를 달성하여, All-Fine-Tune 기준선보다 각각 0.0089와 0.0025 AUC 높게 성능을 내었다.
• 필드 수준의 정책을 제거하거나 레이어 수준의 정책 네트워크 중 하나를 제거하면 성능에 심각한 하락이 발생하여, 각 정책의 기여도가 확인되었다.
• MovieLens-1M에서 필드 수준의 정책이 레이어 수준의 정책보다 더 큰 성능 향상 기여를 하였으며, 이는 강력한 필드 수준의 전이 이점이 있음을 시사한다.
• 시각화 결과에 따르면, 높은 레이어의 80% 이상에서 미세조정된 파라미터가 사용되고 있어, 더 깊은 레이어가 더 도메인 특수성을 가지며 적응이 필요함을 나타낸다.
• AutoFT는 DCN, DNN, DeepFM 등 다양한 CTR 모델에서 일관된 성능 향상을 유지하여, 다양한 아키텍처와의 강력한 호환성을 입증하였다.
• 사전 훈련된 모델에서 일반적인 특징을 선택적으로 재사용하면서 타겟 특수 패턴에 적응함으로써, 소규모 타겟 데이터셋에서의 과적합을 감소시켰다.