[논문 리뷰] Higher-Order Factorization Machines

Mathieu Blondel, Akinori Fujino외 2명|arXiv (Cornell University)|2016. 07. 25.

Face and Expression Recognition참고 문헌 19인용 수 51

한 줄 요약

이 논문은 HOFM의 첫 번째 효율적인 학습 알고리즘을 제안하며, ANOVA 커널과의 연결을 통해 예측 및 기울기 계산을 선형 시간에 수행할 수 있는 동적 프로그래밍 기법을 도입한다. 공유 파라미터를 가진 변종(HOFM-shared-augmented 및 HOFM-shared-simplex)을 제안하여 모델 크기와 추론 시간을 줄이면서도 높은 정확도를 유지하며, 네 가지 링크 예측 작업에서 최신 기준 AUC 점수를 달성한다.

ABSTRACT

Factorization machines (FMs) are a supervised learning approach that can use second-order feature combinations even when the data is very high-dimensional. Unfortunately, despite increasing interest in FMs, there exists to date no efficient training algorithm for higher-order FMs (HOFMs). In this paper, we present the first generic yet efficient algorithms for training arbitrary-order HOFMs. We also present new variants of HOFMs with shared parameters, which greatly reduce model size and prediction times while maintaining similar accuracy. We demonstrate the proposed approaches on four different link prediction tasks.

연구 동기 및 목표

• 높은 계산 비용으로 인해 실용적이지 못했던 고차수 인자 분해 기반 기계 학습 모델(HOFM)에 대한 효율적인 학습 알고리즘이 부족한 문제를 해결한다.
• ANOVA 커널과의 연결을 활용해 임의의 차수의 HOFM 학습을 가능하게 하여 예측 및 기울기 계산을 효율적으로 수행한다.
• 공유 파라미터를 가진 새로운 HOFM 변종을 통해 모델 복잡도와 추론 시간을 감소시키되, 예측 성능을 저하시키지 않는다.
• 실세계 링크 예측 작업에서 제안된 방법의 효과성을 입증하며, 차수 증가에 대한 일반화 능력과 강인성을 향상시킨다.
• 특징 수와 모델 차수에 대해 선형 시간 복잡도를 가지는 확장 가능한 최적화 알고리즘(확률적 경사 하강법 및 좌표 하강법)을 제공한다.

제안 방법

• ANOVA 커널을 사용해 HOFM을 재구성하여, 특징 수에 대해 선형 시간에 다항식 전개를 계산할 수 있는 동적 프로그래밍 접근법을 가능하게 한다.
• ANOVA 커널과 그 기울기를 선형 시간에 평가할 수 있는 동적 프로그래밍 알고리즘을 설계하여 효율적 최적화에 핵심적인 역할을 한다.
• 특징 수와 모델 차수에 대해 선형 시간 복잡도를 가지는 확률적 경사 하강법 및 좌표 하강법 알고리즘을 개발하여 HOFM 학습을 수행한다.
• 공유 파라미터를 가진 두 가지 새로운 HOFM 변종을 도입: HOFM-shared-augmented(확장된 특징 공간 사용) 및 HOFM-shared-simplex(단체 기반 파라미터 공유 사용)로, 파라미터 수와 추론 시간을 감소시킨다.
• 공유 변종에서는 모든 특징 상호작용 차수에 동일한 파라미터 행렬을 사용하여 모델 크기를 크게 줄이면서도 표현력을 유지한다.
• 표준 평가 지표(AUC)를 사용해 링크 예측 작업에 알고리즘을 적용하며, 초모수는 교차 검증을 통해 선택하고 초기화를 일관되게 유지한다.

실험 결과

연구 질문

• RQ1 특징 상호작용의 조합 폭발 문제를 피하면서도 임의의 차수의 HOFM에 대해 효율적인 학습 알고리즘을 설계할 수 있는가?
• RQ2 예측 정확도를 유지하거나 향상시키면서도 HOFM의 파라미터 수와 추론 시간을 줄일 수 있는 방법은 무엇인가?
• RQ3 공유 파라미터 설계가 다양한 링크 예측 작업에서 모델 성능 및 확장성에 어떤 영향을 미치는가?
• RQ4 기본 솔버인 AdaGrad 및 L-BFGS와 비교할 때 제안된 알고리즘의 수렴 속도와 안정성은 어떠한가?
• RQ5 HOFM의 특징 상호작용 차수를 증가시키면 예측 성능 향상이 일관되게 이루어지는가?

주요 결과

• 제안된 HOFM 모델은 네 가지 링크 예측 데이터셋 중 세 개에서 가장 높은 AUC 점수를 기록했으며, m=3일 때 NIPS에서 0.875, Enzyme에서 0.888의 AUC를 기록했다.
• HOFM-shared-augmented 변종은 m=4일 때 NIPS에서 0.874 AUC로 표준 HOFM과 유사한 성능를 보였으며, 파라미터 수가 크게 줄어들고 추론 속도가 빨라졌다.
• HOFM-shared-simplex 변종은 HOFM-shared-augmented에 비해 성능이 열등했으며, 특히 대규모 데이터셋에서 더 뚜렷한 성능 저하가 관찰되어 파라미터 공유 방식의 효율성이 떨어졌다.
• 좌표 하강법은 m ≤ 3일 경우 L-BFGS 및 AdaGrad를 능가했지만, m ≥ 4일 경우 L-BFGS가 더 나은 수렴 특성을 보여 더 효과적인 것으로 나타났다.
• AdaGrad는 학습률에 매우 민감했으며, η ≥ 0.01일 경우 발산했고, 수렴하기 위해 η = 0.001이 필요로 했지만, 단위 에포크당 비용은 낮았다.
• HOFM 모델은 차수 m 증가에 대해 강건했으며, 대부분의 데이터셋에서 m=2에서 m=5까지 AUC 점수가 안정되거나 약간 향상되어 각 차수에 대한 효과적인 정규화가 이루어지고 있음을 시사했다.