[논문 리뷰] SRM : A Style-based Recalibration Module for Convolutional Neural Networks

HyunJae Lee, Hyoeun Kim외 1명|arXiv (Cornell University)|2019. 03. 26.

Advanced Neural Network Applications참고 문헌 34인용 수 42

한 줄 요약

SRM은 per-channel 스타일 통계를 활용하여 피처 맵의 가중치를 재조정하는 경량 스타일 기반 채널 재조정 모듈로, SE에 비해 오버헤드를 최소화하면서 성능을 개선합니다. 일반 비전 작업과 스타일 관련 작업에서 이득을 제공합니다.

ABSTRACT

Following the advance of style transfer with Convolutional Neural Networks (CNNs), the role of styles in CNNs has drawn growing attention from a broader perspective. In this paper, we aim to fully leverage the potential of styles to improve the performance of CNNs in general vision tasks. We propose a Style-based Recalibration Module (SRM), a simple yet effective architectural unit, which adaptively recalibrates intermediate feature maps by exploiting their styles. SRM first extracts the style information from each channel of the feature maps by style pooling, then estimates per-channel recalibration weight via channel-independent style integration. By incorporating the relative importance of individual styles into feature maps, SRM effectively enhances the representational ability of a CNN. The proposed module is directly fed into existing CNN architectures with negligible overhead. We conduct comprehensive experiments on general image recognition as well as tasks related to styles, which verify the benefit of SRM over recent approaches such as Squeeze-and-Excitation (SE). To explain the inherent difference between SRM and SE, we provide an in-depth comparison of their representational properties.

연구 동기 및 목표

• 이미지 스타일 정보를 활용하여 CNN 표현력을 향상시키려는 동기 부여.
• 스타일 컨텍스트를 이용해 피처를 재조정하는 경량화된 아키텍처 유닛 제안.
• 엔드 투 엔드 학습 및 무시할 수 있을 만큼의 오버헤드로 표준 CNN에 SRM 통합.
• 일반 비전 작업 및 스타일 관련 도메인 전반에서 SRM을 실증적으로 검증합니다.

제안 방법

• 채널 단위의 스타일 특징을 추출(평균 및 표준편차를 이용한 스타일 풀링).
• 채널 단위로 완전 연결 계층 후 배치 정규화 및 시그모이드 활성화를 통해 채널별 스타일 가중치 계산(스타일 통합).
• 생성된 스타일 가중치(G)와 채널별 곱셈으로 피처 맵 재조정.
• SRM을 기존 CNN(예: ResNet)의 잔차 블록에 통합하고 엔드 투 엔드로 학습.
• SRM과 SE, GE를 비교하고 representational 속성 및 가지치기 동작을 분석합니다.

실험 결과

연구 질문

• RQ1 SRM이 ImageNet 및 CIFAR 데이터세트에서 SE 및 GE보다 분류 정확도를 향상시키나요?
• RQ2 스타일 풀링이 유용한 스타일 정보를 포착하는 데 글로벌 평균/최대 풀 pooling과 비교해 어떤 차이가 있나요?
• RQ3 SRM이 Stylized-ImageNet, 질감 분류, 다도메인 적응과 같은 스타일 관련 작업에 이익을 줄 수 있나요?
• RQ4 SRM의 매개변수 수 및 계산 효율성은 SE 대비 어떤가요?

주요 결과

• SRM-ResNet-50은 ImageNet-1K에서 상위 1위 77.13%로, 기본 ResNet-50의 75.89% 대비 매개변수 0.06M 증가만으로 성능을 달성합니다.
• SRM은 ImageNet-1K 및 CIFAR 데이터세트 전반에서 SE 및 GE를 훨씬 더 적은 매개변수로 지속적으로 능가합니다.
• SRM은 Stylized-ImageNet 정확도를 향상시키고 다도메인 Office-Home 및 텍스처 데이터세트(DTD)에서도 성능을 높입니다.
• 채널 가지치기에서 SRM은 SE 및 GE보다 정확도를 더 잘 보존하여 학습된 채널 중요도가 더 우수함을 시사합니다.
• 스타일 전이(BN+SRM)에서 SRM은 인스턴스 정규화(IN)와 비교할 만큼의 스타일링 품질을 달성합니다.
• ABLATION은 AvgPool과 StdPool(스타일 풀링)을 결합하는 것이 풀링Variant 중 최상의 성능을 낸다는 것을 보여줍니다.