[논문 리뷰] Streaming Normalization: Towards Simpler and More Biologically-plausible Normalizations for Online and Recurrent Learning

Qianli Liao, Kenji Kawaguchi외 1명|arXiv (Cornell University)|2016. 10. 19.

Neural Networks and Applications참고 문헌 13인용 수 23

한 줄 요약

이 논문은 온라인, 순환 및 혼합 학습 환경에서 효과적으로 사용할 수 있도록 모든 학습 샘플과 타임스텝에서 활성화 통계의 온라인 추정을 유지하는 생물학적으로 타당한 정규화 기법인 Streaming Normalization을 소개한다. 다양한 아키텍처와 작업에서 배치 정규화, 계층 정규화, 시간별 배치 정규화를 모두 능가하며, L1 정규화는 유사한 성능를 제공하면서도 더 높은 계산 및 생물학적 타당성을 확보한다.

ABSTRACT

We systematically explored a spectrum of normalization algorithms related to Batch Normalization (BN) and propose a generalized formulation that simultaneously solves two major limitations of BN: (1) online learning and (2) recurrent learning. Our proposal is simpler and more biologically-plausible. Unlike previous approaches, our technique can be applied out of the box to all learning scenarios (e.g., online learning, batch learning, fully-connected, convolutional, feedforward, recurrent and mixed --- recurrent and convolutional) and compare favorably with existing approaches. We also propose Lp Normalization for normalizing by different orders of statistical moments. In particular, L1 normalization is well-performing, simple to implement, fast to compute, more biologically-plausible and thus ideal for GPU or hardware implementations.

연구 동기 및 목표

• 온라인 및 순환 학습 환경에서 배치 정규화의 한계를 해결하기 위해.
• 피드포워드, 컨볼루션, 완전 연결, 순환, 하이브리드 네트워크에 모두 적용 가능한 통합 정규화 프레임워크를 개발하기 위해.
• 각 뉴런별로 국소적이고 온라인 통계 추적을 가능하게 함으로써 생물학적 타당성을 향상시키기 위해.
• L2 기반 정규화의 더 단순하고 빠르며 생물학적으로 더 타당한 대안으로서 Lp 정규화를 탐색하기 위해.
• 스트리밍 통계가 다양한 학습 환경에서 시간별 또는 배치 기반 정규화보다 우수할 수 있음을 입증하기 위해.

제안 방법

• 모든 관측 샘플을 통해 활성화 통계(평균 및 분산)의 온라인, 누적 추정을 사용하는 배치 정규화 및 계층 정규화의 일반화로 Streaming Normalization을 제안한다.
• 활성화가 p차 절대모멘트의 p제곱근으로 정규화되는 Lp 정규화를 도입하며, 특히 L1 정규화는 매우 단순하고 효율적이다.
• 기울기들을 다수의 미니배치에 걸쳐 누적한 후 가중치 갱신을 수행하는 분리된 누적 및 갱신 방식(DAU)을 적용하여 학습 안정성을 향상시킨다.
• 피드포워드 및 순환 네트워크를 포함한 모든 레이어와 네트워크 유형에 동일한 정규화 절차를 적용하여 작업별 특화 조정이 필요 없도록 한다.
• 샘플 기반 및 배치 기반 통계를 통합하는 일반화된 정규화 공식을 제시하여 배치 정규화, 계층 정규화, Streaming Normalization을 하나의 프레임워크로 통합한다.
• 실시간 학습 중 정규화 통계를 갱신하기 위해 가변 계수를 사용하는 이동 평균(예: α₁=β₁=0.7)을 적용한다.

실험 결과

연구 질문

• RQ1 특정 아키텍처나 작업에 맞게 수정이 필요 없이 단일 정규화 기법이 온라인, 순환, 배치 학습을 효과적으로 지원할 수 있는가?
• RQ2 순환 언어 모델링 작업에서 스트리밍 정규화가 시간별 배치 정규화 및 계층 정규화보다 어떻게 비교되는가?
• RQ3 L1 정규화가 L2 정규화와 유사한 성능를 달성하면서도 더 단순하고 생물학적으로 더 타당한가?
• RQ4 모든 타임스텝에서 동일한 정규화 통계를 유지하는 것이 시간별 통계보다 순환 네트워크의 일반화 성능을 향상시키는가?
• RQ5 스트리밍 정규화가 순환 네트워크에서 내부 입력 분포 변화를 얼마나 효과적으로 완화하는가?

주요 결과

• 셰익스피어의 작품에서 문자 수준 언어 모델링을 수행할 때, Streaming Normalization은 계층 정규화 및 시간별 배치 정규화보다 수렴 속도가 빠르고 검증 손실이 낮다.
• L1 정규화는 모든 테스트 환경에서 L2 정규화와 거의 유사한 성능를 보이며, 하드웨어 및 생물학적 구현에 더 단순하고 효율적인 대안을 제공한다.
• 피드포워드 및 순환 환경 모두에서 최신 기술 수준의 성능를 달성하며, 컨볼루션 및 순환 구성 요소를 포함한 혼합 아키텍처에도 적용 가능하다.
• 작은 미니배치 크기에도 강인하며, 배치 정규화나 시간별 배치 정규화와 달리 순수 온라인 학습을 지원한다.
• 뉴런 단위의 스트리밍 정규화는 경쟁력 있는 성능를 보이며, 시냅스 스케일링의 생물학적으로 타당한 메커니즘을 지원한다.
• 결과적으로, 활성화가 시간에 따라 스트리밍 통계를 기반으로 정규화될 경우 내부 입력 분포 변화가 이전에 생각한 것만큼 해로운 영향을 미치지 않을 수 있음을 시사한다.