[논문 리뷰] Dropout as a Low-Rank Regularizer for Matrix Factorization

Jacopo Cavazza, Pietro Morerio외 4명|arXiv (Cornell University)|2017. 10. 13.

Sparse and Compressive Sensing Techniques참고 문헌 6인용 수 20

한 줄 요약

이 논문은 행렬 분해에서 드롭아웃을 정규화 기법으로 이론적으로 분석하며, 드롭아웃이 열 벡터의 유클리드 노름 제곱의 합을 통해 결정론적 정규화를 유도함으로써 낮은 질서의 해를 유도함을 보여준다. 또한 적응형 드롭아웃 비율을 사용할 경우 드롭아웃이 핵노름 정규화를 암묵적으로 수행함으로써 볼록 낮은 질서 근사 문제의 전역 최적화를 가능하게 한다.

ABSTRACT

Regularization for matrix factorization (MF) and approximation problems has been carried out in many different ways. Due to its popularity in deep learning, dropout has been applied also for this class of problems. Despite its solid empirical performance, the theoretical properties of dropout as a regularizer remain quite elusive for this class of problems. In this paper, we present a theoretical analysis of dropout for MF, where Bernoulli random variables are used to drop columns of the factors. We demonstrate the equivalence between dropout and a fully deterministic model for MF in which the factors are regularized by the sum of the product of squared Euclidean norms of the columns. Additionally, we inspect the case of a variable sized factorization and we prove that dropout achieves the global minimum of a convex approximation problem with (squared) nuclear norm regularization. As a result, we conclude that dropout can be used as a low-rank regularizer with data dependent singular-value thresholding.

연구 동기 및 목표

• 드롭아웃의 정규화 효과를 행렬 분해에서 이론적으로 특성화하는 것 — 경험적으로 효과적이지만 잘 이해되지 않는 바이다.
• 비볼록 행렬 분해와 볼록 낮은 질서 근사 간 격차를 메우기 위해 드롭아웃이 볼록 하한을 유도함을 보여주는 것.
• 적응형 비율을 사용한 드롭아웃이 볼록 핵노름 정규화 문제의 전역 최소값에 도달할 수 있음을 보여주는 것.
• 드롭아웃이 행렬 분해에서 스펙트럴 희박성과 낮은 질서의 구조를 촉진한다는 새로운 해석을 제공하는 것.
• 시뮬레이션 및 실세계 데이터(예: MNIST 포함)를 통한 실험을 통해 이론적 결과를 검증하는 것.

제안 방법

• 논문은 행렬 분해에서 드롭아웃을 이항분포 랜덤 변수의 기대값으로 공식화하여, 인자 행렬 U와 V의 열을 확률적으로 제거한다.
• 열의 유클리드 노름 제곱의 곱의 합을 정규화 항으로 하는 등가 결정론적 최적화 문제를 유도한다.
• 변형된 크기의 인자 분해를 위해, 과적합을 방지하기 위해 요인 분해 차원 d와 하이퍼파ram터 p에 따라 의존하는 적응형 드롭아웃 비율 θ(d)를 도입한다.
• 드롭아웃 정규화된 목표 함수의 볼록 하한이 제곱 핵노름 정규화와 등가임을 증명하며, 드롭아웃을 잘 알려진 낮은 질서 근사 기법과 연결한다.
• 드롭아웃 정규화된 행렬 분해의 최적 해가 볼록 핵노름 정규화 문제의 전역 최적해와 일치함을 확립한다.
• MNIST를 이용한 실험을 통해 이론을 검증하며, 드롭아웃 MF와 볼록 하한에서의 재구성 결과를 비교하여 평균 재구성 오차가 약 10⁻² 수준이며, 두 해법 간 평균 제곱오차는 약 10⁻³ 수준임을 보였다.

실험 결과

연구 질문

• RQ1 드롭아웃이 행렬 분해를 어떻게 정규화하는가에 대한 이론적 메커니즘은 무엇인가?
• RQ2 낮은 질서 행렬 근사에서 드롭아웃은 핵노름 정규화와 어떻게 관련이 있는가?
• RQ3 적응형 비율을 사용한 드롭아웃이 볼록 낮은 질서 근사 문제의 전역 최소값에 도달할 수 있는가?
• RQ4 드롭아웃은 암묵적으로 스펙트럴 희박성과 낮은 질서 해를 유도하는가?
• RQ5 드롭아웃과 볼록 정규화 간의 등가성은 실세계 데이터에서 경험적으로 검증될 수 있는가?

주요 결과

• 행렬 분해에서의 드롭아웃은 인자 행렬의 열의 유클리드 노름 제곱의 곱의 합을 벌어들이는 완전히 결정론적 정규화와 수학적으로 등가이다.
• 고정된 인자 분해 크기 d를 사용할 경우, 드롭아웃 정규화된 목표 함수는 점별로 결정론적 정규화된 행렬 분해 문제와 등가이며, 동일한 최적 해를 보장한다.
• 인자 분해 크기 d를 변화시킬 수 있는 경우, 고정된 드롭아웃 비율 θ는 과대 크기의 인자 분해를 유도한다. 이를 해결하기 위해 d와 하이퍼파ram터 p에 따라 의존하는 적응형 θ(d)를 도입한다.
• 드롭아웃 정규화된 목표 함수의 볼록 하한은 제곱 핵노름 정규화와 등가이며, 이를 통해 드롭아웃을 통해 볼록 문제의 전역 최적해를 달성할 수 있다.
• 드롭아웃 정규화된 행렬 분해의 최적 해는 볼록 핵노름 정규화 문제의 전역 최적해와 일치하며, 이는 데이터 기반 특이값 임계처리를 통해 최적의 질서 d̄를 학습함으로써 달성된다.
• MNIST에서의 경험적 평가 결과, 드롭아웃 MF와 볼록 하한에서의 재구성 결과는 시각적으로나 정량적으로 유사하며, 평균 재구성 오차는 약 10⁻², 두 해법 간 평균 제곱오차는 약 10⁻³ 수준이었다.