[논문 리뷰] Why Regularized Auto-Encoders learn Sparse Representation?

Devansh Arpit, Yingbo Zhou외 2명|arXiv (Cornell University)|2015. 05. 21.

Neural Networks and Applications참고 문헌 23인용 수 13

한 줄 요약

이 논문은 정규화된 오토인코더가 희박한 표현을 학습하는 이유를 공식적인 이론적 분석을 통해 설명하며, 양의 기울기를 갖는 정규화 항의 기울기와 음의 포화를 보이는 비감소 활성화 함수가 핵심 요건임을 규명한다. 이는 소음 제거 및 수축 오토인코더와 같은 다양한 오토인코더 모델을 동일한 프레임워크로 통합하여, 유도된 희박성에 대한 충분조건을 만족함을 보여주며, 이는 이러한 모델들이 경험적으로 희박한 특징을 학습하는 데 성공한 이유를 설명한다.

ABSTRACT

While the authors of Batch Normalization (BN) identify and address an important problem involved in training deep networks-- extit{Internal Covariate Shift}-- the current solution has certain drawbacks. For instance, BN depends on batch statistics for layerwise input normalization during training which makes the estimates of mean and standard deviation of input (distribution) to hidden layers inaccurate due to shifting parameter values (especially during initial training epochs). Another fundamental problem with BN is that it cannot be used with batch-size $ 1 $ during training. We address these drawbacks of BN by proposing a non-adaptive normalization technique for removing covariate shift, that we call extit{Normalization Propagation}. Our approach does not depend on batch statistics, but rather uses a data-independent parametric estimate of mean and standard-deviation in every layer thus being computationally faster compared with BN. We exploit the observation that the pre-activation before Rectified Linear Units follow Gaussian distribution in deep networks, and that once the first and second order statistics of any given dataset are normalized, we can forward propagate this normalization without the need for recalculating the approximate statistics for hidden layers.

연구 동기 및 목표

• 이 현상에 대해 이론적 연구가 부족한 상황에서 정규화된 오토인코더가 희박한 표현을 학습하는 이유를 공식적으로 분석하는 것.
• 오토인코더의 은닉 유닛에서 희박성을 유도하는 데 필요한 정규화 및 활성화 함수 조건을 규명하는 것.
• 기존 오토인코더 모델들(예: 소음 제거, 수축)과 활성화 함수들(예: ReLU, 시그모이드)을 하나의 분석 프레임워크로 통합하는 것.
• 정규화 계수와 가중치 길이 제약 조건이 희박성에 미치는 영향을 실증적으로 검증하여 이론적 주장의 타당성을 입증하는 것.
• 명시적 손상(예: DAE)과 평균화된 정규화(예: mDAE, CAE) 간의 상대적 효율성을 이해하는 데 기여하는 통찰을 제공하는 것.

제안 방법

• 은닉 유닛의 낮은 프리액티베이션을 유도하는 데 필요한 정규화 조건을 유도하며, 특히 인코더 바이어스에 대한 정규화 항의 기울기가 양수여야 한다는 조건을 포함한다.
• 비감소적이며 0에서 음의 포화를 보이는 활성화 함수(예: ReLU, 시그모이드, 소프트플러스)를 분석하여, 이러한 정규화와 조합될 경우 희박성을 촉진함을 보여준다.
• 소음 제거 오토인코더(DAE) 및 수축 오토인코더(CAE)와 같은 인기 있는 오토인코더 목표 함수가 도출된 충분조건을 만족하는 정규화 형태를 지닌다는 것을 보여준다.
• 이론적 분석을 통해 희박성이 가중치 방향이나 크기보다는 정규화에서 유도된 바이어스 기울기에 의해 지배됨을 입증한다.
• 학습 중에 가중치 벡터를 고정 길이로 제약하여 정규화의 영향을 분리하고 이론 모델의 예측 능력을 검증한다.
• 명시적 손상(DAE)과 평균화된 정규화(mDAE, CAE)를 비교하여 정규화의 일阶 및 이阶 효과를 유도하는 데의 능력을 평가한다.

실험 결과

연구 질문

• RQ1 오토인코더 은닉 유닛에서 희박성을 유도하기 위해 필요한 정규화 및 활성화 함수 조건은 무엇인가?
• RQ2 정규화된 오토인코더(예: 소음 제거 및 수축 오토인코더)는 희박성을 명시적으로 강제하지 않음에도 불구하고 희박한 표현을 학습하는 이유는 무엇인가?
• RQ3 정규화 계수는 희박성에 어떤 영향을 미치며, 이 관계는 가중치 길이 제약 조건에 따라 달라지는가?
• RQ4 희박성 결정에 있어 바이어스 기울기와 가중치 방향 중 어느 것이 더 중요한 역할을 하는가?
• RQ5 명시적 손상(예: DAE)은 평균화된 정규화(예: mDAE, CAE)보다 더 예측 가능하고 효과적인 희박성 유도를 이끌어내는가?

주요 결과

• 정규화 항의 기울기가 인코더 바이어스에 대해 양수일 경우, 오토인코더 은닉 유닛에서 희박성을 유도하는 데 충분한 조건이다.
• 비감소적이며 0에서 음의 포화를 보이는 활성화 함수(예: ReLU, 소프트플러스, 시그모이드)는 이러한 정규화와 함께 사용될 경우 희박성을 촉진한다.
• 소음 제거 오토인코더(DAE), 수축 오토인코더(CAE), 평균화된 DAE(mDAE) 모두 도출된 충분조건을 만족하는 정규화 형태를 지니며, 이는 이들이 희박한 표현을 학습할 수 있는 이유를 설명한다.
• 실증 결과에 따르면, 바이어스 기울기가 양수일 경우 정규화 계수가 증가함에 따라 희박성이 증가하지만, 기울기가 0일 경우는 영향을 받지 않는다.
• 가중치 벡터를 고정 길이로 제약할 경우 더 예측 가능하고 안정적인 희박성 추세를 보이며, 이는 이론 모델의 예측을 검증한다.
• 명시적 손상(예: DAE)은 정규화의 일阶 및 이阶 효과를 모두 포착하여 평균화된 접근 방식(예: mDAE, CAE)보다 더 신뢰할 수 있는 희박성 유도를 이끈다.