[논문 리뷰] Multi-View Factorization Machines

Bokai Cao, Hucheng Zhou외 2명|arXiv (Cornell University)|2015. 06. 03.

Tensor decomposition and applications참고 문헌 12인용 수 13

한 줄 요약

이 논문은 다중 시각에서의 전체 차수 특성 상호작용을 함께 인수분해하여 다중 시각 학습에서 예측 정확도를 향상시키는 Multi-View Factorization Machines (MVMs)를 제안한다. 상호작용 항목 간에 잠재 요소를 공유함으로써 데이터 희소성 하에서 파라미터 추정을 향상시키고 과적합을 줄이며, 영화 평점 예측에서 FMs 대비 3.51% 높은 정확도와 꿰이 클릭 예측에서 0.57% 향상된 성능을 달성한다.

ABSTRACT

For a learning task, data can usually be collected from different sources or be represented from multiple views. For example, laboratory results from different medical examinations are available for disease diagnosis, and each of them can only reflect the health state of a person from a particular aspect/view. Therefore, different views provide complementary information for learning tasks. An effective integration of the multi-view information is expected to facilitate the learning performance. In this paper, we propose a general predictor, named multi-view machines (MVMs), that can effectively include all the possible interactions between features from multiple views. A joint factorization is embedded for the full-order interaction parameters which allows parameter estimation under sparsity. Moreover, MVMs can work in conjunction with different loss functions for a variety of machine learning tasks. A stochastic gradient descent method is presented to learn the MVM model. We further illustrate the advantages of MVMs through comparison with other methods for multi-view classification, including support vector machines (SVMs), support tensor machines (STMs) and factorization machines (FMs).

연구 동기 및 목표

• 웹 스케일 애플리케이션인 추천 및 광고와 같은 분야에서 다중 데이터 시각 간의 복잡하고 상보적인 특성 상호작용을 모델링하는 도전 과제를 해결한다.
• 기존 모델이 두 번째 차수 상호작용만 포착하거나 시각을 별도로 처리함으로써 데이터 희소성 하에서 최적의 성능을 내지 못하는 한계를 극복한다.
• 다양한 시각 간에 전체 차수 상호작용(최대 제3차까지)을 함께 인수분해하는 통합 프레임워크를 개발하여 일반화 성능 향상과 과적합 감소를 도모한다.
• 다양한 기계학습 작업과의 호환성을 위해 탄력적인 손실 함수를 지원함으로써 모델을 다양한 작업에 적용할 수 있도록 한다.
• 웹 스케일 배포를 지원하기 위해 스파크 기반의 확장성 있는 분산 학습 시스템을 설계한다.

제안 방법

• 다중 시각의 특성 간에 전체 차수 상호작용(최대 제3차까지)을 모델링하는 일반 예측기인 Multi-View Machines (MVMs)를 제안한다.
• 다양한 시각 간의 상호작용 파라미터에 대한 공동 인수분해 메커니즘을 도입하여, 공유된 잠재 요소를 학습시켜 희소성 하에서의 파라미터 추정을 향상시킨다.
• 다음과 같은 인수분해된 상호작용 항목을 사용하여 MVM 모델을 수식으로 기술한다: $ \hat{y} = \mathbf{w}_0 + \sum_{i=1}^n w_i x_i + \sum_{i<j} \langle \mathbf{v}_i, \mathbf{v}_j \rangle x_i x_j + \sum_{i<j<k} \langle \mathbf{v}_i, \mathbf{v}_j, \mathbf{v}_k \rangle x_i x_j x_k $, 여기서 다양한 시각 간에 공유된 잠재 벡터를 사용한다.
• 효율적인 최적화를 위해 적응형 학습률을 사용하는 확률적 경사 하강법(SGD)을 적용하고, 확장성을 확보하기 위해 아파치 스파크 기반의 분산 버전을 구현한다.
• 모델 복잡도를 제어하고 과적합을 방지하기 위해 정규화($\lambda$)와 잠재 차원($k$)을 사용한다.
• 다양한 지도 학습 작업을 지원하기 위해 다양한 손실 함수를 통합함(예: 회귀의 경우 제곱 손실, 분류의 경우 로지스틱 손실).

실험 결과

연구 질문

• RQ1 다양한 시각 간에 전체 차수 특성 상호작용을 공동으로 인수분해하는 것이, 쌍방 상호작용이나 시각 수준 상호작용만 모델링하는 기존 모델 대비 다중 시각 학습에서 예측 성능을 향상시키는가?
• RQ2 MVM 모델은 공유된 잠재 요소 인수분해를 통해 다중 시각 환경에서 데이터 희소성과 과적합 문제를 어떻게 다루는가?
• RQ3 실세계 웹 애플리케이션, 예를 들어 영화 평점 및 광고 클릭 예측에서 제3차 상호작용을 포함함으로써 모델 정확도가 얼마나 향상되는가?
• RQ4 스파크 기반의 분산 MVM 구현은 대규모 웹 애플리케이션에서 얼마나 확장 가능한가?
• RQ5 잠재 차원 $k$와 정규화 강도 $\lambda$와 같은 핵심 초모수에 대해 MVM 모델은 얼마나 민감한가?

주요 결과

• MVMs는 영화 평점 예측에 대해 MovieLens 데이터셋에서 표준 Factorization Machines(FMs) 대비 3.51% 높은 정확도를 달성한다.
• Bing Ads 데이터셋에서는 광고 클릭 예측에서 FMs 대비 정확도가 0.57% 향상되어 실세계 응용 분야에서 일관된 성능 향상을 입증한다.
• 모델 성능은 $k = 40$ 개의 잠재 요소에서 최고에 도달하며, 이후 데이터 용량을 초월한 모델 표현력 증가로 인해 과적합이 발생한다.
• 정규화 강도 $\lambda$에 대해 모델은 안정적인 성능을 유지하며 $\lambda \leq 0.1$ 범위 내에서 민감도가 낮음을 보이며, 중간 정도의 $\lambda$ 변화에 대해 안정성을 확보한다.
• 스파크 기반의 분산 MVM 구현은 노드 수 증가에 따라 거의 선형적인 속도 향상을 달성하여 웹 스케일 데이터 처리에 강력한 확장성을 입증한다.
• 민감도 분석 결과, $k = 40$에서 학습 손실과 테스트 손실이 모두 최소화됨을 확인하여 모델 용량과 일반화 성능 간의 균형이 잘 맞춰져 있음을 검증한다.