[논문 리뷰] Sparsity Normalization: Stabilizing the Expected Outputs of Deep Networks.

Joonyoung Yi, Juhyuk Lee외 2명|arXiv (Cornell University)|2019. 06. 01.

Domain Adaptation and Few-Shot Learning인용 수 2

한 줄 요약

이 논문은 누락된 값이나 입력 분포의 변동성으로 인해 발생하는 인스턴스 수준의 희소성 이질성 문제를 해결함으로써 딥 네트워크 출력을 안정화시키는 스파arsity 정규화(SN) 기법을 소개한다. 비어 있지 않은 요소에 기반한 희소성 인식 통계를 바탕으로 활성화를 정규화함으로써 비선형성의 포화를 줄이고 학습 안정성을 향상시킨다. 최소한의 아키텍처 수정으로 Movielens 100k 및 1M 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The learning of deep models, in which a numerous of parameters are superimposed, is known to be a fairly sensitive process and should be carefully done through a combination of several techniques that can help to stabilize it. We introduce an additional challenge that has never been explicitly studied: the heterogeneity of sparsity at the instance level due to missing values or the innate nature of the input distribution. We confirm experimentally on the widely used benchmark datasets that this variable sparsity problem makes the output statistics of neurons unstable and makes the learning process more difficult by saturating non-linearities. We also provide the analysis of this phenomenon, and based on our analysis, we present a simple technique to prevent this issue, referred to as Sparsity Normalization (SN). Finally, we show that the performance can be significantly improved with SN on certain popular benchmark datasets, or that similar performance can be achieved with lower capacity. Especially focusing on the collaborative filtering problem where the variable sparsity issue has been completely ignored, we achieve new state-of-the-art results on Movielens 100k and 1M datasets, by simply applying Sparsity Normalization (SN).

연구 동기 및 목표

• 누락된 입력이나 데이터 분포 특성으로 인한 변수적인 인스턴스 수준의 희소성으로 인한 딥 네트워크 출력의 불안정성 문제를 해결하기 위해.
• 희소성 이질성이 활성화 통계와 학습 동역학에 미치는 부정적 영향을 규명하고 분석하기 위해.
• 다양한 희소성 수준에서 뉴런 출력을 안정화시키는 단순하면서도 효과적인 정규화 기법을 제안하기 위해.
• SN이 벤치마크 데이터셋, 특히 희소성이 자주 간과되는 협업 필터링 작업에서 모델 성능 향상에 기여함을 입증하기 위해.

제안 방법

• 스파arsity 정규화는 각 입력 샘플의 비어 있지 않은 요소 수에 기반해 인스턴스별로 정규화 통계를 계산한다.
• 각 배치에서 SN은 비어 있지 않은 요소들만을 기반으로 계산된 평균과 표준편차를 사용해 각 뉴런의 활성화를 정규화한다.
• 정규화는 각 샘플별로 적용되어, 각 입력의 희소성 수준이 활성화 스케일링에 명시적으로 반영된다.
• 이 방법은 경량이며 표준 딥 러닝 프레임워크와 호환되며, 기존 아키텍처에 최소한의 수정만으로도 적용 가능하다.
• 비선형 활성화 함수 이전에 SN을 적용하여 극단적인 희소성으로 인한 포화를 방지한다.
• 이 기법은 Movielens를 위한 협업 필터링을 포함한 여러 벤치마크 데이터셋에서 경험적으로 검증되었다.

실험 결과

연구 질문

• RQ1 인스턴스 수준의 희소성 이질성이 딥 네트워크 활성화와 학습 동역학의 안정성에 어떤 영향을 미치는가?
• RQ2 희소성에 기인한 불안정성이 표준 벤치마크 데이터셋에서 모델 성능을 얼마나 악화시키는가?
• RQ3 희소성에 대응하는 단순한 정규화 기법이 학습 안정성과 최종 성능 향상에 기여할 수 있는가?
• RQ4 스파arsity 정규화가 최소한의 아키텍처 수정으로 협업 필터링 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 스파arsity 정규화를 사용할 경우, 낮은 용량의 모델로도 유사한 성능를 달성할 수 있는가?

주요 결과

• 스파arsity 정규화는 Movielens 100k 및 1M 데이터셋에서 모델 성능을 크게 향상시켜 새로운 최신 기술 수준의 결과를 달성한다.
• 특히 협업 필터링 환경에서 희소성 이질성로 인한 활성화 분산을 줄임으로써 뉴런 출력을 안정화시킨다.
• SN은 낮은 용량의 모델이 더 큰 모델과 유사한 성능을 달성할 수 있도록 해, 샘플 효율성이 향상됨을 시사한다.
• 희소 입력으로 인한 비선형성의 포화를 효과적으로 완화하여 더 안정적이고 효율적인 학습을 가능하게 한다.
• 경험적 결과는 희소성 이질성이 이전에 간과되었지만 딥 러닝 안정성에 있어 중요한 요소임을 확인하며, 특히 추천 시스템에서 두드러진다.