[논문 리뷰] SSN: Learning Sparse Switchable Normalization via SparsestMax

Wenqi Shao, Tianjian Meng외 5명|arXiv (Cornell University)|2019. 03. 09.

Advanced Neural Network Applications참고 문헌 34인용 수 8

한 줄 요약

이 논문은 새로운 미분 가능 다중선택 함수인 SparsestMax를 사용해 각 레이어당 하나의 정규화기(예: BN, IN, LN)를 학습적으로 선택하는 Sparse Switchable Normalization (SSN)을 제안한다. 이는 성능을 유지하면서도 추론 속도를 향상시킨다. SSN은 Switchable Normalization의 소프트 밀집 attention을 대체하여 희소한 one-hot 선택 메커니즘을 도입함으로써 ImageNet, Cityscapes, ADE20K, Kinetics 벤치마크에서 최고 수준 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

Normalization methods improve both optimization and generalization of ConvNets. To further boost performance, the recently-proposed switchable normalization (SN) provides a new perspective for deep learning: it learns to select different normalizers for different convolution layers of a ConvNet. However, SN uses softmax function to learn importance ratios to combine normalizers, leading to redundant computations compared to a single normalizer. This work addresses this issue by presenting Sparse Switchable Normalization (SSN) where the importance ratios are constrained to be sparse. Unlike $\ell_1$ and $\ell_0$ constraints that impose difficulties in optimization, we turn this constrained optimization problem into feed-forward computation by proposing SparsestMax, which is a sparse version of softmax. SSN has several appealing properties. (1) It inherits all benefits from SN such as applicability in various tasks and robustness to a wide range of batch sizes. (2) It is guaranteed to select only one normalizer for each normalization layer, avoiding redundant computations. (3) SSN can be transferred to various tasks in an end-to-end manner. Extensive experiments show that SSN outperforms its counterparts on various challenging benchmarks such as ImageNet, Cityscapes, ADE20K, and Kinetics.

연구 동기 및 목표

• Switchable Normalization(SN)이 레이어당 다수의 정규화기를 소프트 어텐션으로 조합함으로써 발생하는 계산 비효율성을 해결하기 위해.
• 비미분 가능 ℓ₀ 또는 ℓ₁ 정규화에 의존하지 않고도 희소 정규화기 선택을 위한 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 정확히 하나의 정규화기를 선택하는 것을 보장하는, 미분 가능하고 피드포워드 방식의 희소성 유도 함수를 개발하기 위해.
• 희소한 정규화기 선택이 다양한 비전 작업에서 정확도를 유지하거나 향상시키면서도 추론 속도를 향상시키는지 확인하기 위해.

제안 방법

• 입력값을 L1-구에 투영함으로써 정확히 하나의 정규화기를 선택하도록 보장하는, 소프트맥스의 희소한 확장인 SparsestMax를 제안한다. 이는 각 레이어당 정확히 하나의 정규화기가 선택되도록 보장한다.
• 각 정규화 레이어가 BN, IN, LN의 통계를 가중 평균으로 계산하지만, 중요도 비율은 SparsestMax를 통해 희소성 제약을 받는다. 이를 통해 Sparse Switchable Normalization(SSN)을 구성한다.
• 선택을 제어하기 위해 학습 가능한 파라미터 z를 사용하며, p = SparsestMax(z)를 통해 각 레이어당 세 정규화기 중 정확히 하나만 활성화되도록 보장한다.
• 반복 최적화를 피하기 위해 기하학적 투영 기반 접근법을 사용해 SparsestMax를 계산한다. 입력 벡터를 L1-구에 투영하여 희소성을 유도한다.
• 백프로파게이션을 사용해 엔드 투 엔드 훈련을 수행하며, SparsestMax는 표준 딥 러닝 프레임워크와 호환되는 미분 가능 레이어로 통합된다.
• 표준 훈련 프로토콜과 ImageNet 사전학습을 사용해 ResNet, I3D 등의 다양한 아키텍처와 분류, 세그멘테이션, 동작 인식 등의 작업에 SSN을 적용한다.

실험 결과

연구 질문

• RQ1 비미분 가능 정규화에 의존하지 않고도, 딥 네트워크 내에서 희소한 정규화기 선택을 가능하게 하는, 미분 가능하고 피드포워드 방식의 메커니즘을 설계할 수 있는가?
• RQ2 여러 정규화기를 조합하는 대신 각 레이어당 하나의 정규화기를 선택하는 방식이 추론 속도를 향상시키면서도 정확도를 유지하거나 향상시키는가?
• RQ3 다양한 배치 크기를 가진 다양한 컴퓨터 비전 벤치마크에서 SSN의 성능이 SN, BN, GN, SyncBN와 비교해 어떻게 되는가?
• RQ4 SparsestMax는 딥 러닝 아키텍처에서 one-hot 분포를 학습하는 데 일반적으로 사용 가능한 미분 가능 레이어로 활용될 수 있는가?

주요 결과

• ADE20K 검증 세트에서 SSN은 39.3% mIoU를 기록하여 SyncBN(37.7%)과 GN(36.3%)을 앞서며, SN(39.1%)과 유사한 성능을 내면서도 추론 효율성이 향상되었다.
• Cityscapes에서 SSN은 75.7% mIoU를 기록하여 SN(75.8%)과 유사하고, SyncBN(72.7%)과 GN(72.2%)보다 뚜렷하게 뛰어나다.
• Kinetics 동작 인식에서 SSN은 배치 크기 8일 때 73.8% top-1 정확도를 달성하여 SN(73.5%)과 BN(73.3%)을 앞서며, 작은 배치 크기에서도 강인함을 보였다.
• SparsestMax를 사용한 SSN은 초파라미터 튜닝 없이도 희소 정규화기 선택의 엔드 투 엔드 훈련을 가능하게 하였고, 표준 딥 러닝 프레임워크와의 호환성도 유지하였다.
• 절단 실험 결과, SSN의 희소 선택 메커니즘이 불필요한 계산을 방지하여 SN보다 더 빠른 추론을 가능하게 함을 확인하였다.
• SSN은 다양한 작업에 잘 일반화된다: 이미지 분류(ImageNet), 세그멘테이션(Cityscapes, ADE20K), 동작 인식(Kinetics)에서 성능 향상을 보이며 광범위한 적용 가능성을 입증하였다.