[논문 리뷰] Batch-Instance Normalization for Adaptively Style-Invariant Neural Networks

Hyeonseob Nam, Hyoeun Kim|arXiv (Cornell University)|2018. 05. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 124

한 줄 요약

BIN은 배치 노멀라이제이션과 인스턴스 노멀라이제이션을 적응적으로 균형 맞춰, 유용한 스타일은 보존하고 방해가 되는 스타일은 정규화하여 분류, 다중 도메인 학습, 스타일 전이에서 인식을 개선한다.

ABSTRACT

Real-world image recognition is often challenged by the variability of visual styles including object textures, lighting conditions, filter effects, etc. Although these variations have been deemed to be implicitly handled by more training data and deeper networks, recent advances in image style transfer suggest that it is also possible to explicitly manipulate the style information. Extending this idea to general visual recognition problems, we present Batch-Instance Normalization (BIN) to explicitly normalize unnecessary styles from images. Considering certain style features play an essential role in discriminative tasks, BIN learns to selectively normalize only disturbing styles while preserving useful styles. The proposed normalization module is easily incorporated into existing network architectures such as Residual Networks, and surprisingly improves the recognition performance in various scenarios. Furthermore, experiments verify that BIN effectively adapts to completely different tasks like object classification and style transfer, by controlling the trade-off between preserving and removing style variations. BIN can be implemented with only a few lines of code using popular deep learning frameworks.

연구 동기 및 목표

• 실세계 인식 작업에서 스타일 변이가 성능을 저하시킨다는 문제를 제기한다.
• 특징 맵별로 스타일을 선택적으로 정규화하기 위해 Batch-Instance Normalization (BIN)을 제안한다.
• BIN이 분류, 다중 도메인 학습, 스타일 전이에서 성능을 향상시킴을 보여준다.
• 아키텍처와 작업 전반에 걸친 BIN의 확장성을 시연한다.

제안 방법

• BIN을 채널별로 ρ ∈ [0,1]^C인 학습 가능한 게이트 벡터를 갖는 BN과 IN의 가중 합으로 정의한다.
• BIN 출력 y를 y = (ρ ⊙ x̂(B) + (1−ρ) ⊙ x̂(I)) γ + β로 계산하며, 여기서 x̂(B)와 x̂(I)는 BN 및 IN 정규화 특징이다.
• ρ를 그라디언트 업데이트로 학습하고 [0,1]로 클리핑하며, BN−IN 차이를 크게 하기 위해 더 큰 학습률을 사용하는 경우가 많다.
• ρ를 1로 초기화하고, 선형 변환을 위한 γ, β를 학습한다.
• BIN이 기존 아키텍처에서 BN/IN을 거의 추가 매개변수 없이 대체할 수 있음을 보여준다.
• 객체 분류, 다중 도메인 학습, 이미지 스타일 전이에서 BIN을 평가한다.

실험 결과

연구 질문

• RQ1 스타일을 선택적으로 정규화함으로써 BIN이 일반 객체 분류 데이터셋(CIFAR-10/100, ImageNet)에서 표준 BN보다 성능을 초과할 수 있는가?
• RQ2 다중 도메인 학습 및 도메인 적응 설정에서 BIN이 성능을 향상시키는가?
• RQ3 유용한 스타일을 보존하면서 이미지 스타일 전이에 대해 IN의 대안으로 BIN이 효과적인가?
• RQ4 학습된 ρ 게이트는 층과 작업 간에 어떻게 분포하며, BIN은 아키텍처 전반에 걸쳐 어떻게 확장되는가?

주요 결과

• BIN이 CIFAR-10/100 및 ImageNet에서 BN을 능가한다 (Top-1 정확도: CIFAR-10 93.72→94.29, CIFAR-100 74.26→75.88, ImageNet 69.89→70.68).
• BIN의 게이트 값은 이진 모드와 유사해 상위 계층에서 많은 채널이 BN(ρ≈1) 쪽으로, 분류를 위해 하위 계층에서 IN(ρ≈0) 쪽으로 기울는 경향이 있다.
• 다양한 아키텍처(AlexNet, VGG, ResNet, ResNeXt, DenseNet)에서 CIFAR-100에 대해 일관되게 성능을 향상시킨다.
• Office-Home 다중 도메인 분류에서 BIN은 BN에 비해 평균 정확도를 향상시킨다(80.08 대 78.95).
• Office-Home의 DANN에서 도메인 적응 시 BIN은 대부분의 전이 과제에서 BN과 동등하거나 약간 우수하다(11/12).
• 스타일 전이에서 BIN은 BN+IN보다 콘텐츠 보존을 더 잘 달성하고 IN과 유사한/스타일 전이 품질을 가지면서도 원하는 스타일의 손실을 완화한다.