[논문 리뷰] Polynomial Networks and Factorization Machines: New Insights and Efficient Training Algorithms

Mathieu Blondel, Masakazu Ishihata외 2명|arXiv (Cornell University)|2016. 07. 29.

Tensor decomposition and applications인용 수 37

한 줄 요약

이 논문은 다항식 네트워크(PNs)와 인자분해기계(FMs)를 저질서 대칭 텐서 추정 프레임워크를 통해 통합하며, 둘 다를 위한 효율적인 다중볼록 최적화 알고리즘을 제안한다. 고차수 FMs의 목적 함수가 다중볼록임을 증명하고, 안정적이고 확장 가능한 고차수 PNs 및 FMs의 학습을 가능하게 하는 업그레이드된 최적화 접근법을 제시한다. 수렴 보장이 있다.

ABSTRACT

Polynomial networks and factorization machines are two recently-proposed models that can efficiently use feature interactions in classification and regression tasks. In this paper, we revisit both models from a unified perspective. Based on this new view, we study the properties of both models and propose new efficient training algorithms. Key to our approach is to cast parameter learning as a low-rank symmetric tensor estimation problem, which we solve by multi-convex optimization. We demonstrate our approach on regression and recommender system tasks.

연구 동기 및 목표

• 핵심 함수와 텐서 추정을 기반으로 다항식 네트워크(PNs)와 인자분해기계(FMs)를 통합하는 공통 이론적 프레임워크를 수립하는 것.
• 모수 학습을 저질서 대칭 텐서 추정 문제로 재구성함으로써 다항식 네트워크 학습의 비볼록성 문제를 해결하는 것.
• 임의의 차수 FMs의 목적 함수가 다중볼록임을 증명하여 최적화의 안정성을 향상시키는 것.
• 다양한 상호작용 차수를 가진 PNs와 FMs를 위한 효율적이고 확장 가능한 학습 알고리즘—특히 좌표 강하 솔버—을 개발하는 것.
• 회귀 및 추천 시스템 작업에서 제안된 방법을 실증적으로 평가하여 우수한 성능과 강건성을 입증하는 것.

제안 방법

• 모델 모수를 인수분해된 행렬에서 유도된 저질서 텐서로 표현하는 방식으로, 모수 학습을 저질서 대칭 텐서 추정 문제로 재정의하는 것.
• 비볼록 목적 함수를 다중볼록으로 변환하기 위해 대칭화 기법을 사용하여 최적화 중 수렴을 보장하는 것.
• 예측 함수를 ANOVA 커널(K=𝒜ᵐ)과 동차 다항식 커널(K=𝓗ᵐ)을 사용하여 기술하며, 각각 FMs와 PNs를 회복하는 것.
• 크기 d×r의 m개 행렬을 추정하는 업그레이드된 최적화 접근법을 제안하며, r=k/m로 설정하여 직접 방법과 모델 크기의 균형을 확보하는 것.
• 이전에 존재하지 않았던 삼차수 FMs를 위한 좌표 강하(CD) 솔버를 유도하는 것.
• 커널 기법을 사용해 특징을 암묵적으로 매핑함으로써 명시적 단항식 특징 확장을 피하면서도 상호작용 모델링 능력을 유지하는 것.

실험 결과

연구 질문

• RQ1 핵심 함수와 텐서 추정을 기반으로 다항식 네트워크와 인자분해기계를 하나의 최적화 프레임워크에 통합할 수 있는가?
• RQ2 임의의 차수 인자분해기계의 목적 함수가 다중볼록인가? 그리고 최적화 안정성에 어떤 영향을 미치는가?
• RQ3 업그레이드된 최적화 접근법이 고차수 다항식 네트워크의 비볼록 학습을 다중볼록 문제로 전환하고 수렴 보장을 제공할 수 있는가?
• RQ4 이진 특징 데이터와 연속형 특징 데이터에서 ANOVA 커널과 동차 다항식 커널의 성능는 어떻게 비교되는가?
• RQ5 람다 벡터를 1로 고정했을 때 모델 용량과 예측 행동에 어떤 영향을 미치며, 특히 부호의 자유도 측면에서 어떤가?

주요 결과

• 임의의 차수 인자분해기계의 목적 함수가 다중볼록임을 증명하여 안정적이고 수렴 가능한 최적화를 가능하게 한다.
• 제안된 업그레이드된 최적화 접근법은 저질서 대칭 텐서 추정과 대칭화를 통해 다항식 네트워크의 비볼록 학습 문제를 다중볼록 문제로 전환한다.
• ANOVA 커널(𝒜²)의 경우 𝝀=𝟏로 고정하면 엄격히 상삼각행렬 형태의 가중치 행렬이 되며, 이는 준정부호가 아니며 더 높은 모델의 유연성을 허용한다.
• 실증적으로, ANOVA 커널(𝒜ᵐ)은 추천 시스템과 같은 이진 특징 작업에서 동차 다항식 커널(𝓗ᵐ)을 능가하지만, 연속형 특징 회귀 작업에서는 𝓗ᵐ가 더 우수한 성능을 보인다.
• 삼차수 FMs를 위한 제안된 좌표 강하 솔버는 비선형 회귀 및 추천 시스템 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 업그레이드된 방법은 r=k/m로 설정함으로써 직접 방법과 동일한 모델 크기를 확보하여 파rameter 효율성 측면에서 공정한 비교를 가능하게 한다.