[논문 리뷰] Regularizing activations in neural networks via distribution matching with the Wasserstein metric

Taejong Joo, Donggu Kang외 1명|arXiv (Cornell University)|2020. 02. 13.

Advanced Neural Network Applications참고 문헌 56인용 수 8

한 줄 요약

이 논문은 신경망 활성화를 최소화함으로써 1-Wasserstein 거리의 상한을 최소화하는 새로운 방법인 투영 오차 함수 정규화(PER)를 제안한다. 활성화를 임의의 일차원 방향으로 투영하고, 편향-허브 유사 손실을 적용함으로써 고차 통계 및 단위 간 상관관계를 포착하여, 추가 파rameter나 아키텍처 변경 없이도 학습 안정성과 일반화 성능을 향상시킨다.

ABSTRACT

Regularization and normalization have become indispensable components in training deep neural networks, resulting in faster training and improved generalization performance. We propose the projected error function regularization loss (PER) that encourages activations to follow the standard normal distribution. PER randomly projects activations onto one-dimensional space and computes the regularization loss in the projected space. PER is similar to the Pseudo-Huber loss in the projected space, thus taking advantage of both $L^1$ and $L^2$ regularization losses. Besides, PER can capture the interaction between hidden units by projection vector drawn from a unit sphere. By doing so, PER minimizes the upper bound of the Wasserstein distance of order one between an empirical distribution of activations and the standard normal distribution. To the best of the authors' knowledge, this is the first work to regularize activations via distribution matching in the probability distribution space. We evaluate the proposed method on the image classification task and the word-level language modeling task.

연구 동기 및 목표

• 딥 네트워크 학습 중 활성화 분포의 불안정성을 해결하여 수렴 및 일반화를 방해하는 문제를 해결하기 위해.
• 기존 방법들이 평균과 분산과 같은 1차 및 2차 통계만 정규화하는 데 한계가 있음을 고려해, 고차 통계 및 단위 간 상관관계를 포착하기 위해.
• 이론적으로 타당하고 강력한 거리 측정 방법인 워샤르슈타인 거리 기반 확률 분포 공간에서의 정규화 잠재력을 탐색하기 위해.
• 학습 파rameter나 아키텍처에 종속되지 않는 파rameter-프리, 아키텍처 독립 정규화 방법을 개발하여 다양한 작업에서 학습 안정성과 모델 성능 향상을 도모하기 위해.

제안 방법

• 각 레이어의 활성화를 단위 구에서 추출한 무작위 일차원 방향으로 투영하여, 낮은 차원에서 분포 분석을 가능하게 한다.
• 투영된 공간에서 L1 및 L2 정규화의 장점을 결합한 부드럽고 이상치에 강건한 편향-허브 손실을 적용한다.
• 활성화의 경험적 분포와 표준 정규분포 N(0, I) 사이의 1-Wasserstein 거리 상한을 최소화한다.
• 무작위 투영의 몬테카를로 샘플링을 통해 슬라이스드 워샤르슈타인 거리 근사를 이용해 워샤르슈타인 거리를 효율적으로 추정한다.
• 투영된 활성화와 목표 가우시안 분포에서의 이격도를 함수로 정규화 손실로 제안한다.
• 학습 파rameter를 포함하지 않고 미분 가능성을 유지함으로써 계산 효율성과 표준 학습 파이프라인과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 모든 활성화 분포를 순간 통계 외에도 정규화함으로써 딥 신경망의 학습 안정성과 일반화 성능 향상이 가능한가?
• RQ2 워샤르슈타인 거리 기반 분포 매칭은 기존의 정규화 및 정규화 기법 대비 성능과 강건성 측면에서 어떻게 비교되는가?
• RQ3 명시적인 정규화 레이어나 배치 통계 없이 PER는 얼마나 활성화 분포를 안정화시킬 수 있는가?
• RQ4 무작위 투영과 편향-허브 손실이 은닉 표현의 단위 간 상관관계와 고차 통계를 효과적으로 포착하는가?
• RQ5 아키텍처 수정 없이도 PER는 이미지 분류 및 언어 모델링과 같은 다양한 작업에 효과적으로 적용될 수 있는가?

주요 결과

• PER는 학습 전반에 걸쳐 활성화 분포를 크게 안정화시켜, 특히 초기 학습 단계에서 평균과 분산 이격을 방지한다.
• PER 적용 시 활성화 분포와 표준 정규분포 N(0, I) 사이의 1-Wasserstein 거리는 바닐라 및 배치 정규화(BN) 기준 대비 일관되게 낮다.
• 이미지 분류(CIFAR-10, CIFAR-100) 및 단어 수준 언어 모델링(WikiText-2) 작업에서 PER는 약간의 그러나 일관된 테스트 정확도 향상을 달성한다.
• 학습 시간이 약간 증가했음(각 반복당 0.093초 대비 바닐라 기준 0.071초)에도 불구하고, PER는 추가 파rameter가 없으며 표준 학습 파이프라인과 호환된다.
• 분석 결과, PER는 고차 통계 및 단위 간 상관관계를 효과적으로 제어하며, 분포 이격 감소와 빠른 수렴을 통해 이를 입증한다.
• 배치 정규화 또는 명시적 순간 제어 없이도, PER는 BN 및 VCL보다 활성화 분포를 목표 분포 N(0, I)에 더 가깝게 유지하는 데 뛰어난 성능을 보였다.