[논문 리뷰] Improving Deep Neural Networks with Probabilistic Maxout Units

Jost Tobias Springenberg, Martin Riedmiller|arXiv (Cornell University)|2013. 12. 20.

Advanced Neural Network Applications참고 문헌 11인용 수 90

한 줄 요약

이 논문은 입력 변형에 대한 불변성 향상과 함께 maxout 유닛의 유리한 최적화 및 드롭아웃 일반화 성질을 유지하는 확률적 maxout 유닛(ProbOut)을 제안한다. 이 방법은 선형 특징 맵에 대한 소프트맥스 기반 확률적 풀링 메커니즘을 사용하여, 데이터 증강 없이 SVHN에서 2.39%의 최신 기준 분류 정확도를 달성하며, CIFAR-10 및 CIFAR-100에서도 이전 결과를 매칭하거나 초월한다.

ABSTRACT

We present a probabilistic variant of the recently introduced maxout unit. The success of deep neural networks utilizing maxout can partly be attributed to favorable performance under dropout, when compared to rectified linear units. It however also depends on the fact that each maxout unit performs a pooling operation over a group of linear transformations and is thus partially invariant to changes in its input. Starting from this observation we ask the question: Can the desirable properties of maxout units be preserved while improving their invariance properties ? We argue that our probabilistic maxout (probout) units successfully achieve this balance. We quantitatively verify this claim and report classification performance matching or exceeding the current state of the art on three challenging image classification benchmarks (CIFAR-10, CIFAR-100 and SVHN).

연구 동기 및 목표

• 하나의 하위공간 풀링으로 부분적으로 불변성을 가지는 maxout 유닛의 불변성 성질을 향상시키되, 최적화 및 드롭아웃 일반화 행동을 손상시키지 않기 위해.
• 조각별 선형성, 포화 방지 및 양의 활성화를 유지하면서 입력 변환에 대한 강건성을 향상시키는 확률적 일반화를 개발하기 위해.
• 각 유닛 내 k개의 선형 특징 맵 간에 더 균형 잡힌 기울기 흐름을 가능하게 하여, 딥 네트워크 내 특징 활용도를 향상시키기 위해.
• 표준 이미지 분류 벤치마크에서 제안된 유닛을 평가하고, 최신 기준 모델들과 경쟁하거나 승리하는 성능을 입증하기 위해.

제안 방법

• 확률적 maxout 유닛은 표준 maxout의 결정론적 최댓값 연산을 k개의 선형 특징 맵에 대한 소프트맥스 기반 확률적 풀링으로 대체하여, 확률적 활성화를 가능하게 한다.
• 각 유닛은 소프트맥스 함수를 사용해 k개의 선형 변환에 대한 확률 분포를 계산하며, 순전파 및 역전파 단계에서 확률적 샘플링이 가능하다.
• 이 방법은 조각별 선형성과 포화를 방지하여, maxout의 최적화 이점을 유지하면서도 입력 변형에 대한 불변성을 향상시킨다.
• 역전파 동안 기울기는 모든 k개의 특징 맵에 균형 있게 분배되어 학습 효율성과 특징 활용도를 향상시킨다.
• 표준 역전파를 사용하여 교차 엔트로피 손실과 함께 모델을 훈련하고, 드롭아웃 앙상블 성능을 근사하기 위해 다중 순전파에 걸친 모델 평균화를 사용하여 테스트한다.
• 이 접근법은 k=5 또는 k=2 차원에서의 하위공간 풀링을 사용한 합성곱 및 완전 연결 계층을 활용해 CIFAR-10, CIFAR-100 및 SVHN에서 평가된다.

실험 결과

연구 질문

• RQ1 maxout 유닛의 확률적 일반화가 입력 변형에 대한 불변성을 향상시키면서도 드롭아웃의 최적화 및 정규화 이점을 유지할 수 있는가?
• RQ2 최댓값 연산을 확률적 풀링 메커니즘으로 대체할 경우, 각 유닛 내 k개의 선형 특징 맵 간에 더 나은 기울기 흐름이 유도되는가?
• RQ3 제안된 확률적 maxout 유닛이 데이터 증강 없이 표준 이미지 분류 벤치마크에서 최신 기준 성능을 달성할 수 있는가?
• RQ4 이동 및 회전 변형에 대한 테스트에서 maxout와 확률적 maxout 네트워크 간의 특징 표현 불변성은 어떻게 비교되는가?

주요 결과

• 확률적 maxout 모델은 데이터 증강 없이 SVHN 데이터셋에서 테스트 오차 2.39%를 기록하여 현재 최신 기준과 동일하며, 원본 maxout 모델(2.47%)을 초월한다.
• CIFAR-10에서 모델은 테스트 오차 8.48%를 기록하여 최고 성능을 보인 maxout 모델과 동일한 성능을 달성했으며, ReLU에 드롭아웃을 적용한 다른 기준 모델들을 뛰어넘었다.
• CIFAR-100에서 모델은 테스트 오차 27.68%를 기록하여 최신 기준과 경쟁 가능했으며, 여러 강력한 기준 모델들보다도 뚜렷하게 우수했다.
• 특징 수준 분석 결과, ProbOut 네트워크는 변형된 이미지와 원본 이미지의 특징 벡터 간 유클리드 거리가 유의미하게 낮아, 이동 및 회전에 대한 더 강력한 불변성을 보였다.
• 모든 층에서의 평균 거리는 ProbOut이 maxout보다 일관되게 낮았으며, 특히 완전 연결 계층에서 더 높은 수준의 표현에서의 강건성이 향상됨을 보여주었다.
• 확률적 공식화 덕분에 k개의 특징 맵 간에 더 균형 잡힌 기울기 분포가 가능해져, 훈련 중에 전체 k차원 하위공간을 더 효과적으로 활용할 수 있었다.