[논문 리뷰] On Dropout and Nuclear Norm Regularization

Poorya Mianjy, Raman Arora|arXiv (Cornell University)|2019. 05. 28.

Nuclear reactor physics and engineering참고 문헌 38인용 수 9

한 줄 요약

이 논문은 제곱 손실을 가지는 딥 리니어 네트워크에서 드롭아웃에 의해 유도되는 암묵적 정규화를 공식적으로 기술한다. 드롭아웃은 ℓ₂-패스 정규화와 재스케일링 불변 항을 포함하는 명시적 정규화를 유도하며, 이 정규화의 볼록 쌍대는 네트워크 맵의 제곱 핵심 노름이다. 높은 드롭아웃 비율일 경우, 전역 최적해는 네트워크 맵의 핵심 노름을 최소화하는 해로 특징지어진다.

ABSTRACT

We give a formal and complete characterization of the explicit regularizer induced by dropout in deep linear networks with squared loss. We show that (a) the explicit regularizer is composed of an $\ell_2$-path regularizer and other terms that are also re-scaling invariant, (b) the convex envelope of the induced regularizer is the squared nuclear norm of the network map, and (c) for a sufficiently large dropout rate, we characterize the global optima of the dropout objective. We validate our theoretical findings with empirical results.

연구 동기 및 목표

• 제곱 손실을 가지는 딥 리니어 네트워크에서 드롭아웃에 의해 유도되는 명시적 정규화를 공식적으로 기술하는 것.
• 유도된 정규화의 볼록 쌍대를 분석하고, 이를 네트워크 맵의 핵심 노름과 연결하는 것.
• 높은 드롭아웃 비율 하에서 드롭아웃 목표 함수의 전역 최적해를 특정하는 것.
• 드롭아웃과 낮은 랭크 해 사이의 관계를 실험적으로 검증하여 이론적 결과를 뒷받침하는 것.

제안 방법

• 베르누이 드롭아웃 마스크에 대한 기대 손실 분석을 통해 드롭아웃에 의해 유도되는 명시적 정규화를 유도한다.
• 정규화가 네트워크 가중치의 재스케일링에 대해 불변임을 보이며, ℓ₂-패스 정규화를 포함하는 구성 요소를 포함한다.
• 유도된 정규화의 볼록 쌍대가 네트워크 맵의 제곱 핵심 노름임을 증명한다.
• 라그랑주 이중성과 KKT 조건을 사용하여 높은 드롭아웃 비율 하에서의 전역 최적해를 특징짓는다.
• 이중 형식을 통해 특이값 축소를 적용하여 최적 해가 낮은 랭크임을 보여준다.
• 합성 및 실제 회귀 과제에서 이론적 주장의 타당성을 실험적으로 검증한다.

실험 결과

연구 질문

• RQ1 제곱 손실을 가지는 딥 리니어 네트워크에서 드롭아웃에 의해 유도되는 명시적 정규화는 무엇인가?
• RQ2 유도된 정규화의 볼록 쌍대는 네트워크 맵의 핵심 노름과 어떻게 관련이 있는가?
• RQ3 어떤 조건에서 드롭아웃은 네트워크 맵에서 낮은 랭크 해를 유도하는가?
• RQ4 드롭아웃 목표 함수의 전역 최적해는 핵심 노름 최소화와 어떻게 관련이 있는가?
• RQ5 유도된 정규화의 이론적 기술은 실험적으로 검증될 수 있는가?

주요 결과

• 드롭아웃에 의해 유도되는 명시적 정규화는 ℓ₂-패스 정규화와 추가적인 재스케일링 불변 항으로 구성된다.
• 유도된 정규화의 볼록 쌍대는 네트워크 맵의 제곱 핵심 노름이다.
• 충분히 높은 드롭아웃 비율일 경우, 드롭아웃 목표 함수의 전역 최적해는 네트워크 맵의 핵심 노름을 최소화하는 해에 해당한다.
• 최적 해는 특이값 축소를 보이며, 비제로 특이값은 드롭아웃 비율에 비례하여 비례적으로 감소한다.
• 최적 네트워크 맵의 랭크는 드롭아웃 비율에 의해 유도된 임계 조건을 만족하는 비제로 특이값의 수에 의해 제한된다.
• 실험 결과는 드롭아웃이 낮은 랭크 해를 촉진하며, 이는 핵심 노름 정규화의 이론적 예측과 일치함을 확인한다.