[논문 리뷰] A Comprehensive Survey on Automated Machine Learning for Recommendations

Bo Chen, Xiangyu Zhao외 4명|arXiv (Cornell University)|2022. 04. 04.

Recommender Systems and Techniques인용 수 8

한 줄 요약

이 종합적 서베이는 딥 리커멘더 시스템(DRS)을 위한 자동화된 머신러닝(AutoML)에 대한 종합적인 개요를 제공하며, 특성 선택, 임베딩 검색, 특성 상호작용 및 모델 훈련 분야에서 AutoML 응용을 체계적으로 분석한다. 다중 컴포onent 공동 검색과 추상적 검색 공간, 효율적인 알고리즘으로의 전환을 식별하며, 인간의 편향과 엔지니어링 비용을 줄이고 추천 성능을 향상시키기 위한 통합 프레임워크를 제공한다.

ABSTRACT

Deep recommender systems (DRS) are critical for current commercial online service providers, which address the issue of information overload by recommending items that are tailored to the user's interests and preferences. They have unprecedented feature representations effectiveness and the capacity of modeling the non-linear relationships between users and items. Despite their advancements, DRS models, like other deep learning models, employ sophisticated neural network architectures and other vital components that are typically designed and tuned by human experts. This article will give a comprehensive summary of automated machine learning (AutoML) for developing DRS models. We first provide an overview of AutoML for DRS models and the related techniques. Then we discuss the state-of-the-art AutoML approaches that automate the feature selection, feature embeddings, feature interactions, and model training in DRS. We point out that the existing AutoML-based recommender systems are developing to a multi-component joint search with abstract search space and efficient search algorithm. Finally, we discuss appealing research directions and summarize the survey.

연구 동기 및 목표

• 딥 리커멘더 시스템(DRS)에 적용된 AutoML 기법에 대한 종합적 서베이를 제공하기 위해.
• 특성 선택, 특성 임베딩, 특성 상호작용, 모델 훈련과 같은 핵심 DRS 컴포넌트를 자동화하기 위한 최신 기술인 AutoML 접근법을 분석하기 위해.
• 다중 컴포넌트 공동 검색 및 추상적 검색 공간 설계와 같은 새로운 추세를 식별하고, 미충분한 연구 영역을 부각하기 위해.
• 수동적 전문가 중심의 모델 설계에 의존하는 것을 줄이기 위해 DRS 컴포넌트 최적화를 자동화하기 위해.
• 순차적, 사회적, POI 추천 분야에서 AutoML 응용의 격차를 밝혀내어 향후 연구를 안내하기 위해.

제안 방법

• DRS 내 AutoML 응용을 특성 선택, 특성 임베딩 검색, 특성 상호작용 검색, 모델 훈련 자동화의 네 핵심 컴포넌트로 분류한다.
• 단일 컴포넌트 대비 다중 컴포넌트 및 추상적 표현 대비 구체적 표현을 포함한 검색 공간 설계를 검토한다.
• 강화 학습, 베이지안 최적화, 신경망 아키텍처 탐색(NAS)과 같은 검색 전략이 DRS에 적용된 방식을 분석한다.
• 모델 압축, 양자화, 손실 함수 최적화와의 AutoML 통합을 검토한다.
• 이질적인 검색 공간을 동형 표현으로 변환함으로써 다중 컴포넌트 공동 검색을 위한 통합 프레임워크를 제안한다.
• 다양한 추천 시나리오, 특히 순차적, 사회적, POI 추천 분야에서 기존 AutoML 기법을 평가한다.

실험 결과

연구 질문

• RQ1 고차원적이고 희박한 추천 시스템에서 AutoML은 어떻게 특성 선택을 효과적으로 자동화할 수 있는가?
• RQ2 딥 리커멘더 모델에서 특성 임베딩을 최적화하기 위해 가장 효과적인 검색 전략은 무엇인가?
• RQ3 내적 곱과 외적 곱과 같은 표준 연산을 초월한 최적의 특성 상호작용 함수를 발견하기 위해 AutoML은 어떻게 활용될 수 있는가?
• RQ4 사용자-아이템 상호작용 데이터의 희박성, 순차성, 개인화 특성에 일반적인 AutoML 알고리즘을 적용할 때 발생하는 과제는 무엇인가?
• RQ5 DRS에서 이질적인 검색 공간을 통해 다각적 컴포넌트 공동 검색을 효율적으로 수행하는 방법은 무엇인가?

주요 결과

• AutoML 기반 DRS는 추상적 검색 공간을 갖춘 다중 컴포넌트 공동 검색으로 진화하고 있으며, 이는 검색 효율성과 모델 성능 향상에 기여한다.
• 순차적, 사회적, POI 추천 작업 분야에서는 이러한 분야에 대한 관심이 증가하고 있음에도 불구하고, 기존의 AutoML 접근법은 여전히 미충분한 연구 영역에 머물러 있다.
• 특성 임베딩은 대부분의 모델 파라미터를 차지하므로, 자동화된 임베딩 크기 검색 및 압축은 높은 영향력을 가진 연구 방향이다.
• 현재의 AutoML 방법은 일반적으로 컴포넌트를 별도로 최적화하기 때문에 성능이 열악하고 검색 효율성이 낮으며, 이는 통합된 검색 공간의 필요성을 강조한다.
• CV/NLP 기반 AutoML 알고리즘을 추천 시스템에 그대로 이식하는 것은 사용자-아이템 데이터의 고유한 희박성과 고차원성으로 인해 최적의 성능을 내지 못한다.
• 적응형 다중 태스크 학습과 관련 사용자 역사적 행동의 자동 검색은 향후 AutoML의 잠재력 있는 그러나 아직 충분히 탐색되지 않은 연구 방향이다.