[논문 리뷰] Convex Factorization Machine for Regression

Makoto Yamada, Lian, Wenzhao외 7명|arXiv (Cornell University)|2015. 07. 04.

Tensor decomposition and applications참고 문헌 35인용 수 4

한 줄 요약

이 논문은 매트릭스 완성 문제를 준엄한 프로그래밍으로 공식화하고 ℓ₂ 및 트레이스 노름 정규화를 사용하여 전역 최적 해를 보장하는, 인과성 기반 기계(Factorization Machines, FMs)의 볼록 변종인 볼록 인과성 기반 기계(Convex Factorization Machine, CFM)를 제안한다. CFM는 독성유전체학 예측 작업에서 최신 기법들을 능가하면서도 단순성과 다중 시각 및 텐서 인과성 기반 문제로의 일반화 능력을 유지한다.

ABSTRACT

We propose the convex factorization machine (CFM), which is a convex variant of the widely used Factorization Machines (FMs). Specifically, we employ a linear+quadratic model and regularize the linear term with the $\ell_2$-regularizer and the quadratic term with the trace norm regularizer. Then, we formulate the CFM optimization as a semidefinite programming problem and propose an efficient optimization procedure with Hazan's algorithm. A key advantage of CFM over existing FMs is that it can find a globally optimal solution, while FMs may get a poor locally optimal solution since the objective function of FMs is non-convex. In addition, the proposed algorithm is simple yet effective and can be implemented easily. Finally, CFM is a general factorization method and can also be used for other factorization problems including including multi-view matrix factorization and tensor completion problems. Through synthetic and movielens datasets, we first show that the proposed CFM achieves results competitive to FMs. Furthermore, in a toxicogenomics prediction task, we show that CFM outperforms a state-of-the-art tensor factorization method.

연구 동기 및 목표

• 비볼록 최적화로 인해 국소 최적해에 수렴하는 인과성 기반 기계(FMs)의 한계를 해결하기 위해.
• 준엄한 프로그래밍을 통해 전역 최적 해를 보장하는 FMs의 볼록 공식화를 개발하기 위해.
• 특히 낮은 데이터 또는 고도로 희박한 상황에서 매트릭스 완성 및 인과성 기반 문제에서 안정적이고 강건한 학습을 가능하게 하기 위해.
• 다중 시각 및 텐서 인과성 기반 문제로의 프레임워크 일반화를 위해, 독성유전체학 예측을 포함하여.
• 기존 최신 기법들을 능가하는 실질적인 응용에서의 성능을 발휘하는 간단하고 구현 가능한 알고리즘을 제공하기 위해.

제안 방법

• 선형 항에 ℓ₂-노름, 이차 상호작용 항에 트레이스 노름을 정규화하여 FM 목적함수를 볼록 준엄한 프로그래밍(SDP)으로 공식화한다.
• 공유 잠재 요소로 분해함으로써 이차 상호작용 행렬을 저랭크 양의 준정적 행렬로 표현한다.
• 해잔의 프랭크-울프 알고리즘을 사용하여 결과로 얻어진 SDP를 해결하며, 이는 대규모 문제에 효율적이고 적합하다.
• 특징 벡터를 연결하여 보조 정보를 통합함으로써, 유전자 발현 또는 약물 프로파일과 같은 추가 데이터의 사용을 가능하게 한다.
• 다중 시각 인과성 기반 문제에 적용하기 위해 시각들을 하나의 행렬으로 연결하고 통합된 저랭크 표현을 학습한다.
• 트레이스 노름 정규화를 사용하여 상호작용 행렬의 저랭크 구조를 촉진함으로써 일반화 및 안정성을 보장한다.

실험 결과

연구 질문

• RQ1 인과성 기반 기계의 볼록 재구성은 비볼록 FMs에서 흔히 발생하는 열악한 국소 최소값을 피할 수 있는 전역 최적 해를 달성할 수 있는가?
• RQ2 제안된 볼록 인과성 기반 기계(CFM)는 실제 회귀 작업에서 표준 FMs 및 최신 기술의 텐서 인과성 기반 기법과 비교해 어떻게 성능을 내는가?
• RQ3 CFM는 독성유전체학 데이터 통합과 같은 다중 시각 및 텐서 인과성 기반 문제로 얼마나 잘 일반화되는가?
• RQ4 수작업으로 설계한 특징(예: 최근접 이웃 유사도의 평균 및 표준편차)의 포함이 생물학적 데이터에서 예측 성능 향상에 기여하는가?
• RQ5 제안된 알고리즘은 수렴 보장을 유지하면서도 대규모 희박 데이터셋에 대해 효율적으로 구현되고 확장 가능한가?

주요 결과

• CFM는 시뮬레이션 및 MovieLens 데이터셋에서 표준 FMs와 경쟁 가능한 성능을 기록하여 표준 매트릭스 완성 작업에서의 효과성을 입증한다.
• 독성유전체학 데이터에서 CFM는 최신 기술인 베이지안 다중 시각 텐서 인과성 기반 기법(Bayesian Multi-view Tensor Factorization, BMTF)을 크게 능가하며, 평균 상대 MSE가 BMTF의 0.4811 대비 0.4037로 향상되었다.
• 수작업으로 설계한 특징(최근접 이웃 유사도의 평균 및 표준편차)의 포함으로 CFM의 성능이 향상되었으며, m=5일 때 평균 상대 MSE가 0.5624에서 0.5215로 감소하였다.
• CFM는 100번의 무작위 데이터 분할에 걸쳐 뛰어난 강건성과 안정성을 보였으며, 다중 시각 설정에서 평균 상대 MSE의 표준편차가 0.0163으로 낮아 일관된 성능을 보였다.
• CFM는 표준 매트릭스 인과성 기반 문제를 넘어 다중 시각 및 텐서 완성 문제를 효과적으로 해결하며 강력한 경험적 결과를 도출하였다.
• CFM 프레임워크는 핵노름 정규화 매트릭스 인과성 기반 기법을 특수한 경우로 포함하고 있음을 입증하여 이론적 타당성과 광범위한 적용 가능성을 확인하였다.