[논문 리뷰] Multi-output Polynomial Networks and Factorization Machines

Mathieu Blondel, Vlad Niculae외 2명|arXiv (Cornell University)|2017. 05. 22.

Polynomial and algebraic computation참고 문헌 26인용 수 4

한 줄 요약

이 논문은 다중 출력 설정에서 공유 기저 벡터를 통해 다중 출력 다항식 네트워크와 인수분해 기반 기계학습 모델을 제안한다. 이는 볼록이고 행 방향으로 희소한 텐서 설정을 통해 구현되며, 조건부 경사 하강법과 보정 재적합 전략을 도입하여 전역 수렴을 달성하고, 기존 방법에 비해 다중 분류 및 추천 과제에서 뛰어난 정확도와 희소성 성능을 보여준다.

ABSTRACT

Factorization machines and polynomial networks are supervised polynomial models based on an efficient low-rank decomposition. We extend these models to the multi-output setting, i.e., for learning vector-valued functions, with application to multi-class or multi-task problems. We cast this as the problem of learning a 3-way tensor whose slices share a common basis and propose a convex formulation of that problem. We then develop an efficient conditional gradient algorithm and prove its global convergence, despite the fact that it involves a non-convex basis selection step. On classification tasks, we show that our algorithm achieves excellent accuracy with much sparser models than existing methods. On recommendation system tasks, we show how to combine our algorithm with a reduction from ordinal regression to multi-output classification and show that the resulting algorithm outperforms simple baselines in terms of ranking accuracy.

연구 동기 및 목표

• 다중 출력 설정으로 인수분해 기반 기계학습 모델과 다항식 네트워크를 단일 출력 설정에서 다중 분류 및 다중 작업 학습에 확장하기 위해.
• 다중 출력 학습 문제를 출력 슬라이스 간 공유 기저를 가진 3차원 텐서로 공식화하기 위해.
• 무한 차원 행렬 표현에서 행 방향 희소성을 강제하기 위해 그룹 희소성 페널티를 사용하는 볼록 최적화 프레임워크를 개발하기 위해.
• 비볼록 기저 선택 조건을 가진 조건부 경사 하강법과 보정 재적합 전략을 설계하여, 공유 기저 설정에서 전역 수렴을 보장하기 위해.
• 다중 분류 및 추천 과제에서 방법을 평가하여, 모델의 희소성과 순위 정렬 성능 향상을 입증하기 위해.

제안 방법

• 다중 출력 인수분해 기반 기계학습 모델과 다항식 네트워크를 각 출력 슬라이스가 공통된 저랭크 기저를 공유하는 3차원 텐서로 모델링한다.
• 무한 차원 행렬로의 문제 재정의를 통해 $l_1/l_q$-노름 페널티를 사용하여 행 방향 희소성을 구현한다.
• 기존 기저를 기반으로 새로운 기저 벡터를 선택하고 계수를 재적합하는 것을 번갈아 수행하는 조건부 경사 하강법을 개발한다.
• 비볼록 기저 선택 단계에도 불구하고 수렴성과 희소성을 향상시키기 위해 보정 재적합 단계를 포함한다.
• 순서형 회귀 문제에 대해 순서형 McRank 감소 기법을 적용하여 각 관련 수준에 대해 다중 작업 분류기를 훈련한다.
• 순위 정렬 지표(예: nDCG)를 위해 캘리브레이션된 확률을 생성하기 위해 이진 로지스틱 손실을 최적화에 사용한다.

실험 결과

연구 질문

• RQ1 인수분해 기반 기계학습 모델과 다항식 네트워크는 다중 분류 및 다중 작업 문제에 대해 다중 출력 학습으로 효과적으로 확장될 수 있는가?
• RQ2 여러 출력 간 공유 기저 학습은 어떻게 볼록 최적화 문제로 공식화할 수 있는가?
• RQ3 비볼록 기저 선택 조건을 가진 조건부 경사 하강법이 공유 기저 설정에서 전역 수렴을 달성할 수 있는가?
• RQ4 이 논문의 방법은 분류 및 추천 과제에서 단일 출력 모델과 커널 기반 기준 모델에 비해 정확도와 희소성 측면에서 어떻게 비교되는가?
• RQ5 순서형 회귀 감소 기법과 결합했을 때, 추천 시스템에서 순위 정렬 성능 향상이 이루어지는가?

주요 결과

• 다중 분류 과제에서 제안된 방법은 커널 SVM에 비해 유사한 정확도를 달성하지만, Nyström 방법에 비해 훨씬 더 희소한 모델을 제공한다.
• l_1/l_∞-제약 조건을 가진 변형은 성우 데이터셋에서 89.57%의 정확도를 달성하여 l_1와 무작위 초기화를 사용한 프로젝션 경사 하강법보다 뛰어난 성능을 보였다.
• 추천 시스템 과제에서 l_1/l_\infty 제약 조건을 가진 다중 출력 인수분해 기반 기계학습 모델은 MovieLens 100k와 1M 데이터셋에서 각각 nDCG@1 점수 0.75와 0.76를 기록하여 단일 출력 인수분해 기반 기계학습 모델과 다항식 네트워크를 초월했다.
• 모든 테스트 데이터셋에서 RMSE와 nDCG 지표 모두에서 단일 출력 모델보다 뛰어난 성능을 보이며 순위 정렬 성능 향상을 입증했다.
• 비볼록 기저 선택 조건에도 불구하고 알고리즘이 전역 수렴을 달성했으며, 이는 보정 재적합 전략의 이론적 안정성을 입증한다.
• 모델의 희소성가 크게 향상되었으며, 최고의 모델은 대안보다 훨씬 더 희소하여 일반화 성능과 효율성 향상을 시사한다.