[논문 리뷰] Generalizing MLPs With Dropouts, Batch Normalization, and Skip Connections

Taewoon Kim|arXiv (Cornell University)|2021. 08. 18.

Neural Networks and Applications참고 문헌 25인용 수 13

한 줄 요약

이 논문은 입력 화이트닝을 위한 독립성 성분(IC) 레이어, 배치 정규화, 드롭아웃, 스킵 연결을 통합한 일반화된 MLP 아키텍처를 제안한다. 각 완전 연결 레이어 이전에 학습 가능한 IC 레이어를 사용해 입력을 화이트닝하고 드롭아웃을 적용함으로써, 모델은 더 빠른 수렴, 더 나은 일반화 및 몬테카를로 드롭아웃을 통한 개선된 불확실성 추정을 달성하며, 사전학습된 초기화 조건에서 연령 및 성별 분류 벤치마크에서 표준 MLP를 능가한다.

ABSTRACT

A multilayer perceptron (MLP) is typically made of multiple fully connected layers with nonlinear activation functions. There have been several approaches to make them better (e.g. faster convergence, better convergence limit, etc.). But the researches lack structured ways to test them. We test different MLP architectures by carrying out the experiments on the age and gender datasets. We empirically show that by whitening inputs before every linear layer and adding skip connections, our proposed MLP architecture can result in better performance. Since the whitening process includes dropouts, it can also be used to approximate Bayesian inference. We have open sourced our code, and released models and docker images at https://github.com/tae898/age-gender/

연구 동기 및 목표

• 표준 아키텍처를 초월해 다층퍼셉트론(MLP)을 일반화하기 위한 체계적인 방법의 부족을 해결하기 위해.
• 드롭아웃을 갖는 IC 레이어를 통한 입력 화이트닝이 훈련 안정성, 수렴 속도 및 최종 성능 향상에 기여하는지 조사하기 위해.
• 스킵 연결과 사전학습된 가중치 초기화가 MLP의 일반화에 미치는 영향을 평가하기 위해.
• 제안된 아키텍처 내 몬테카를로 드롭아웃을 활용해 MLP의 불확실성 추정을 탐색하기 위해.

제안 방법

• 각 완전 연결 레이어 이전에 입력을 화이트닝하기 위해 배치 정규화와 드롭아웃을 사용하는 독립성 성분(IC) 레이어를 도입한다.
• IC 레이어 내부에서 드롭아웃을 사용해 특징 간 상관관계를 제거하고, 뉴런 간 상호정보량을 p² 배수로 감소시킨다.
• 비선형 변환 후 각 단계에 스킵 연결을 통합하여 훈련 안정성 향상과 기울기 흐름 개선을 도모한다.
• 각 IC 레이어 이후에 ReLU 활성화 함수를 적용하고, 추론 시 확률적 가중치 스케일링을 사용해 베이지안 추론을 근사한다.
• 랜덤 및 사전학습된 가중치 초기화를 사용해 IC 레이어, 스킵 연결, 드롭아웃 유무에 따라 모델을 훈련한다.
• 512회의 전방향 추론을 수행하고 예측의 엔트로피를 계산함으로써 몬테카를로 드롭아웃을 통해 모델 불확실성 추정을 수행한다.

실험 결과

연구 질문

• RQ1 각 완전 연결 레이어 이전에 드롭아웃을 갖는 IC 레이어를 통합할 경우, MLP의 수렴 한계와 일반화 성능 향상이 이루어지는가?
• RQ2 스킵 연결은 IC 레이어를 갖는 MLP의 훈련 동역학과 최종 성능에 어떤 영향을 미치는가?
• RQ3 드롭아웃을 통합한 제안된 MLP 아키텍처가 몬테카를로 드롭아웃을 통해 효과적인 불확실성 추정을 가능하게 하는가?
• RQ4 IC 레이어와 스킵 연결을 조합한 사전학습된 가중치를 사용할 경우, 하류 작업에서 더 나은 전이 성능를 달성하는가?

주요 결과

• 사전학습된 초기화 조건에서 8개 클래스로 구성된 연령 분류 작업에서 제안된 IC 레이어와 스킵 연결을 갖는 MLP는 검증 손실 0.0444와 정확도 0.9918를 기록하여 최고 성능를 달성했다.
• IC 레이어와 스킵 연결을 모두 갖춘 모델은 모든 작업에서 검증 손실 향상이 가장 일관되게 관찰되었으며, 특히 사전학습된 초기화 조건에서 두드러졌다.
• IC 레이어와 드롭아웃을 통합한 모델은 효과적인 불확실성 추정을 가능케 했으며, Adience 데이터셋에서 희귀 클래스인 아기 및 아이 얼굴에 대해 가장 높은 엔트로피 값(약 0.6931)을 기록했다.
• 제거 실험 결과, IC 레이어 또는 스킵 연결을 제거할 경우 성능 저하가 심각하게 발생했으며, 랜덤 초기화 조건에서 검증 손실은 각각 0.1100과 0.1311로 증가했다.
• IC 레이어와 스킵 연결을 모두 갖춘 모델은 사전학습된 가중치를 사용한 8개 클래스 연령 분류 작업에서 테스트 손실 0.0455와 정확도 0.9913를 기록했으며, 모든 제거 변형보다 뛰어난 성능를 보였다.
• 저자들은 IC 레이어와 드롭아웃이 특징 간 상관관계와 상호정보량을 효과적으로 감소시켜 더 나은 일반화와 안정적인 훈련을 가능케 했다고 관찰했다.