[논문 리뷰] Adaptive Factorization Network: Learning Adaptive-Order Feature Interactions

Weiyu Cheng, Yanyan Shen외 1명|arXiv (Cornell University)|2019. 09. 07.

Recommender Systems and Techniques참고 문헌 22인용 수 10

한 줄 요약

이 논문은 로그 변환층을 통해 특성 거듭제곱을 학습 가능한 계수로 파arameter화함으로써 데이터로부터 임의의 순서의 특성 상호작용을 적응적으로 학습하는 새로운 딥러닝 모델인 적응적 인수분해 네트워크(Adaptive Factorization Network, AFN)를 제안한다. 기존의 최대 상호작용 순서를 고정하고 모든 조합을 나열하는 전통적인 인수분해 모델과 달리, AFN은 유용한 교차 특성들을 동적으로 발견하고 가중치를 부여함으로써 네 가지 실세계 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며 표현력과 효율성이 향상된다.

ABSTRACT

Various factorization-based methods have been proposed to leverage second-order, or higher-order cross features for boosting the performance of predictive models. They generally enumerate all the cross features under a predefined maximum order, and then identify useful feature interactions through model training, which suffer from two drawbacks. First, they have to make a trade-off between the expressiveness of higher-order cross features and the computational cost, resulting in suboptimal predictions. Second, enumerating all the cross features, including irrelevant ones, may introduce noisy feature combinations that degrade model performance. In this work, we propose the Adaptive Factorization Network (AFN), a new model that learns arbitrary-order cross features adaptively from data. The core of AFN is a logarithmic transformation layer to convert the power of each feature in a feature combination into the coefficient to be learned. The experimental results on four real datasets demonstrate the superior predictive performance of AFN against the start-of-the-arts.

연구 동기 및 목표

• 최대 상호작용 순서를 고정하고 모든 조합을 나열하는 전통적 인수분해 모델이 겪는 계산 비용과 노이즈가 많은 특성 조합 문제를 해결하기 위해.
• 모든 가능한 조합을 나열하지 않고도 분류에 유용한 고차원 특성 상호작용을 자동으로 탐지하기 위해.
• 특성 상호작용 순서와 가중치를 동시에 데이터로부터 학습하는 기울기 역전파가 가능한 종단 간 프레임워크를 개발하기 위해.
• 기존의 인수분해 기반 모델들과 비교해 예측 성능를 향상시키면서도 계산 효율성을 유지하기 위해.

제안 방법

• 특성 거듭제곱을 학습 가능한 계수로 변환하는 데 사용되는 로그 신경 변환층을 도입하여 임의의 순서의 특성 상호작용 모델링을 가능하게 한다.
• 벡터 수준의 로그 뉴런을 사용해 교차 특성 조합에서 각 특성의 순서(지수)를 자동으로 학습한다.
• 변환된 적응적 순서의 특성 간 요소별 상호작용을 모델링하기 위해 피드포워드 신경망을 적용하여 최종 예측을 수행한다.
• 로그 변환을 기울기 역전파가 가능한 연산으로 간주하여 특성 순서와 상호작용 가중치를 동시에 최적화할 수 있도록 한다.
• 특성 순서가 0 또는 1로 제한된 경우에 해당하는 인수분해 기반 모델(FMs)과 고차원 인수분해 기반 모델(HOFMs)을 특수한 경우로 일반화한다.
• 로그 뉴런 간에 파라미터 공유 메커니즘을 도입하여 모델 복잡도를 감소시키고 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 최대 상호작용 순서를 사전 정의하지 않고도 임의의 순서의 특성 상호작용을 학습할 수 있는가?
• RQ2 특성 상호작용 순서를 적응적으로 학습하는 것이 고정 순서 모델보다 더 나은 예측 성능을 내는가?
• RQ3 종단 간 학습을 통해 모델이 무의미하거나 노이즈가 많은 특성 조합을 효과적으로 억제할 수 있는가?
• RQ4 학습 과정에서 학습된 특성 순서는 어떻게 변화하며, 다양한 데이터셋에서의 분포는 어떠한가?
• RQ5 실세계 응용에서 AFN은 기존의 인수분해 기반 모델보다 얼마나 일반화되거나 슈퍼리어한 성능을 내는가?

주요 결과

• AFN은 Criteo와 Frappe를 포함한 네 개의 실세계 데이터셋에서 FMs, HOFMs, AFM을 능가하는 최신 기술 수준 성능을 달성한다.
• AFN에서 학습된 특성 순서는 -1에서 1까지 넓은 범위로 분포되어 있으며, 교차 특성 순서는 4에서 10까지 다양하게 나타나 동적이고 데이터 기반의 상호작용 탐지 능력을 보여준다.
• 단 3개의 로그 뉴런만으로도 강력한 성능 유지를 보이며, 중요한 교차 특성의 소수 집합을 효과적으로 식별할 수 있음을 보여준다.
• 은닉층 깊이가 0일 때에도 성능 저하가 최소한이 되어 안정적인 성능 유지를 보이며, 로그 변환층의 효과를 입증한다.
• 은닉층 파라미터 수가 600을 초과할 경우 과적합이 발생함을 확인하여 모델 용량과 일반화 능력 사이의 명확한 트레이드오프 관계를 보여준다.
• 사례 연구를 통해 AFN이 (item_id, is_free, country) 및 (user_id, item_id)와 같은 의미 있는 교차 특성을 성공적으로 학습함을 확인하였으며, 이는 추천 시스템에서 알려진 신호 중요성과 일치한다.