[논문 리뷰] AMER: Automatic Behavior Modeling and Interaction Exploration in Recommender System

Pengyu Zhao, Kecheng Xiao외 3명|arXiv (Cornell University)|2020. 06. 10.

Recommender Systems and Techniques참고 문헌 60인용 수 9

한 줄 요약

AMER는 추천 시스템을 위한 자동 신경망 아키텍처 탐색 프레임워크를 제안하며, 세 단계의 탐색 공간과 일회성 랜덤 탐색 파이프라인을 통해 행동 모델링과 특성 상호작용 학습을 동시에 최적화합니다. 수작업으로 설계된 기준 모델보다 우수한 성능을 내며, 수작업이 없는 상태에서 최적의 잔차 블록, 특성 상호작용, 집계 네트워크를 효과적으로 발견합니다.

ABSTRACT

User behavior and feature interactions are crucial in deep learning-based recommender systems. There has been a diverse set of behavior modeling and interaction exploration methods in the literature. Nevertheless, the design of task-aware recommender systems still requires feature engineering and architecture engineering from domain experts. In this work, we introduce AMER, namely Automatic behavior Modeling and interaction Exploration in Recommender systems with Neural Architecture Search (NAS). The core contributions of AMER include the three-stage search space and the tailored three-step searching pipeline. In the first step, AMER searches for residual blocks that incorporate commonly used operations in the block-wise search space of stage 1 to model sequential patterns in user behavior. In the second step, it progressively investigates useful low-order and high-order feature interactions in the non-sequential interaction space of stage 2. Finally, an aggregation multi-layer perceptron (MLP) with shortcut connection is selected from flexible dimension settings of stage~3 to combine features extracted from the previous steps. For efficient and effective NAS, AMER employs the one-shot random search in all three steps. Further analysis reveals that AMER's search space could cover most of the representative behavior extraction and interaction investigation methods, which demonstrates the universality of our design. The extensive experimental results over various scenarios reveal that AMER could outperform competitive baselines with elaborate feature engineering and architecture engineering, indicating both effectiveness and robustness of the proposed method.

연구 동기 및 목표

• 딥 러닝 기반 추천 시스템에서 수작업 기반 특성 및 아키텍처 공학의 필요성을 제거하기 위해.
• 순차적 행동 모델링과 특성 상호작용 학습을 모두 반영하는 통합적이고 작업 인식 탐색 공간을 설계하기 위해.
• 복잡한 추천 워크로드에 걸쳐 스케일링 가능한 효율적이고 효과적인 NAS 파이프라인을 개발하기 위해.
• 기존의 대표적인 방법들을 포함하는 것으로 확인함으로써 제안된 탐색 공간의 보편성과 강건성을 입증하기 위해.
• 전문가가 최적화한 설계 없이도 여러 벤치마크 시나리오에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• AMER는 세 단계의 탐색 공간을 사용합니다: 1단계는 일반적인 연산을 사용하여 순차적 사용자 행동을 모델링하기 위한 블록 단위의 잔차 블록에 집중합니다.
• 2단계는 비순차적 상호작용 공간에서 저차수 및 고차수 특성 상호작용을 탐색하여 복잡한 사용자-아이템 관계를 포착합니다.
• 3단계는 유연한 차원 설정에서 단순 연결이 있는 적응형 집계 MLP를 선택하여 이전 단계의 특징을 통합합니다.
• 모든 세 단계에 일회성 랜덤 탐색 전략을 적용하여 각 후보를 다시 훈련하지 않고도 효율적인 아키텍처 탐색을 가능하게 합니다.
• 탐색 공간은 보편적이도록 설계되어 대부분의 기존 행동 모델링 및 상호작용 방법을 특수 케이스로 포함할 수 있습니다.
• 최종 아키텍처는 검증 성능 기반으로 선택되어 행동 모델링과 상호작용 학습의 종단 간 최적화를 보장합니다.

실험 결과

연구 질문

• RQ1 통합된 신경망 아키텍처 탐색 프레임워크가 추천 시스템에서 행동 모델링과 특성 상호작용 학습을 효과적으로 자동화할 수 있는가?
• RQ2 제안된 세 단계 탐색 공간이 행동 모델링과 상호작용 학습 분야의 기존 대표적 방법들을 얼마나 잘 커버하는가?
• RQ3 일회성 랜덤 탐색 전략이 복잡한 추천 작업에서 효율적이고 효과적인 아키텍처 탐색을 얼마나 잘 지원하는가?
• RQ4 자동으로 발견된 아키텍처가 전문가가 설계한 구성 요소를 가진 수작업 모델을 능가하는가?
• RQ5 제안된 방법이 다양한 추천 시나리오와 데이터 분포에 걸쳐 얼마나 강건한가?

주요 결과

• AMER는 광범위한 특성 및 아키텍처 공학에 의존하는 경쟁 기준 모델보다 뛰어난 성능을 달성합니다.
• AMER의 탐색 공간는 대부분의 대표적 행동 모델링 및 상호작용 방법을 커버할 수 있어 보편성을 확인합니다.
• 일회성 랜덤 탐색 전략은 성능을 희생시키지 않은 채 효율적인 아키텍처 탐색을 가능하게 합니다.
• AMER는 다양한 추천 시나리오에서 강건성을 보이며 강력한 일반화 능력을 나타냅니다.
• 이 방법은 잔차 블록, 특성 상호작용, 집계 네트워크의 설계를 성공적으로 자동화하여 전문가의 간섭이 필요 없음을 입증합니다.
• AMER가 발견한 최종 아키텍처는 잘 일반화되어 있으며, 여러 벤치마크 설정에서 수작업으로 설계된 구성 요소를 가진 모델을 능가합니다.