[논문 리뷰] Interaction-aware Factorization Machines for Recommender Systems

Fuxing Hong, Dongbo Huang외 1명|arXiv (Cornell University)|2019. 02. 26.

Recommender Systems and Techniques참고 문헌 29인용 수 7

한 줄 요약

이 논문은 상호작용 인식 메커니즘(IAM)을 통해 유연하고 구조적인 특성 및 필드 수준의 상호작용 중요도를 학습함으로써 팩터리제이션 머신(FM)을 향상시킨 새로운 모델인 상호작용 인식 팩터리제이션 머신(IFM)을 제안한다. IFM은 특성 수준의 중요도에 대해 어텐션을 사용하고, 필드 프로토타입과의 파arametric similarity를 활용하여 희소 추천 데이터셋에서 특성 공학 없이 성능과 효율성을 향상시키며, 벤치마크 데이터셋에서 최신 기술(SOTA) 방법보다 6% 이상 뛰어나다.

ABSTRACT

Factorization Machine (FM) is a widely used supervised learning approach by effectively modeling of feature interactions. Despite the successful application of FM and its many deep learning variants, treating every feature interaction fairly may degrade the performance. For example, the interactions of a useless feature may introduce noises; the importance of a feature may also differ when interacting with different features. In this work, we propose a novel model named \emph{Interaction-aware Factorization Machine} (IFM) by introducing Interaction-Aware Mechanism (IAM), which comprises the \emph{feature aspect} and the \emph{field aspect}, to learn flexible interactions on two levels. The feature aspect learns feature interaction importance via an attention network while the field aspect learns the feature interaction effect as a parametric similarity of the feature interaction vector and the corresponding field interaction prototype. IFM introduces more structured control and learns feature interaction importance in a stratified manner, which allows for more leverage in tweaking the interactions on both feature-wise and field-wise levels. Besides, we give a more generalized architecture and propose Interaction-aware Neural Network (INN) and DeepIFM to capture higher-order interactions. To further improve both the performance and efficiency of IFM, a sampling scheme is developed to select interactions based on the field aspect importance. The experimental results from two well-known datasets show the superiority of the proposed models over the state-of-the-art methods.

연구 동기 및 목표

• 표준 팩터리제이션 머신(FM)이 모든 특성 상호작용을 동일하게 취급하는 데서 비롯되는 한계를 해결하기 위해.
• 기존 모델에서 자주 忽시되는 필드 수준의 정보를 상호작용 중요도 학습에 통합하기 위해.
• 수동적인 특성 공학 없이도 특성 및 필드 수준에서의 상호작용 중요도를 구조적이고 민감하게 학습할 수 있도록 하기 위해.
• 필드 측면 중요도 기반의 새로운 샘플링 전략을 통해 모델의 효율성과 성능을 향상시키기 위해.
• 저차수 및 고차수 상호작용을 동시에 모델링하면서도 상호작용 정보를 유지하는 딥 러닝 구성 요소로 FM을 일반화하기 위해.

제안 방법

• 쌍별 상호작용 벡터에 대한 어텐션 네트워크를 활용해 특성 상호작용 중요도를 학습하는 상호작용 인식 메커니즘(IAM)을 도입한다.
• 상호작용 벡터와 학습된 필드 상호작용 프로토타입 간의 파arametric similarity를 사용해 필드 수준의 상호작용 영향을 모델링한다.
• 계층적이고 인라인된 표현을 사용해 고차수 상호작용을 포착하는 상호작용 인식 신경망(INN)과 DeepIFM를 제안한다.
• 필드 측면 중요도에 기반해 상호작용을 우선순위 정렬하는 샘플링 전략을 적용해 학습 효율성과 성능을 향상시킨다.
• 과적합을 방지하기 위해 드롭아웃과 L2 정규화를 사용하며, 과소적합과 과적합을 균형 잡기 위해 검증을 통해 하이퍼파라미터를 튜닝한다.
• FM과 딥 컴포넌트 간의 공유된 특성 임베딩을 활용해 저차수 상호작용 정보를 유지하면서도 딥 표현 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 특성 및 필드 수준에서 상호작용 중요도를 모델링하는 것이 표준 FM을 넘어서 추천 성능 향상에 기여할 수 있는가?
• RQ2 상호작용 중요도 학습에 필드 정보를 통합할 경우, 희소 데이터에서 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ3 구조적이고 계층적인 상호작용 학습 접근법이 관련성 없거나 약한 특성 상호작용으로 인한 노이즈를 줄일 수 있는가?
• RQ4 제안된 샘플링 전략이 예측 정확도를 희생시키지 않고 학습 효율성을 얼마나 향상시킬 수 있는가?
• RQ5 성능 및 파라미터 효율성 측면에서 FFM, AFM, DeepFM과 같은 최신 기술 모델과 비교해 IFM는 어떠한가?

주요 결과

• IFM는 표준 FM을 크게 앞서며, Frappe 및 MovieLens 데이터셋에서 각각 6% 이상의 상대적 성능 향상을 달성했다.
• 드롭아웃의 유지 확률을 중간 수준(0 또는 1이 아님)으로 설정했을 때 모델 성능이 최고로 나타나 최적의 정규화 효과가 있음을 시사한다.
• L2 정규화는 MovieLens 데이터셋에서 IFM 성능을 약 1.4% 향상시켜, 필드 측면 학습에 과적합을 제어하는 데 효과적임을 확인한다.
• MovieLens의 최적의 은닉 요소 수 $K_F$ 는 Frappe보다 작으며, 이는 데이터셋의 희소성과 필드 상호작용 복잡성의 차이를 반영한다.
• IFM는 FFM의 $O(mnK)$ 대비 $O(mK)$로 파라미터 복잡도를 감소시켜 더 효율적이면서도 뛰어난 성능을 유지한다.
• 필드 측면 중요도 기반 샘플링 전략은 효율성과 성능 향상에 기여하며, 정보성 있는 상호작용을 우선 처리하는 가치를 입증한다.