[논문 리뷰] Improving Sound Event Classification by Increasing Shift Invariance in Convolutional Neural Networks

Eduardo Fonseca, Andrés Ferraro외 1명|arXiv (Cornell University)|2021. 07. 01.

Music and Audio Processing참고 문헌 22인용 수 4

한 줄 요약

이 논문은 음향 이벤트 분류를 위한 컨volution 신경망(CNN)에서 이동 불변성(Shift Invariance)을 향상시키기 위해 두 가지 새로운 풀링 방법—학습 가능한 저역통과 필터링(TLPF)과 적응형 다항상태 샘플링(APS)—을 제안한다. FSD50K 데이터셋에 기반한 VGG 기반 모델에 이를 통합함으로써, 저비용의 계산 부담과 거의 증가하지 않는 파라미터 수를 바탕으로 기존 최고 성능(mAP: 0.541)을 달성한다.

ABSTRACT

Recent studies have put into question the commonly assumed shift invariance property of convolutional networks, showing that small shifts in the input can affect the output predictions substantially. In this paper, we analyze the benefits of addressing lack of shift invariance in CNN-based sound event classification. Specifically, we evaluate two pooling methods to improve shift invariance in CNNs, based on low-pass filtering and adaptive sampling of incoming feature maps. These methods are implemented via small architectural modifications inserted into the pooling layers of CNNs. We evaluate the effect of these architectural changes on the FSD50K dataset using models of different capacity and in presence of strong regularization. We show that these modifications consistently improve sound event classification in all cases considered. We also demonstrate empirically that the proposed pooling methods increase shift invariance in the network, making it more robust against time/frequency shifts in input spectrograms. This is achieved by adding a negligible amount of trainable parameters, which makes these methods an appealing alternative to conventional pooling layers. The outcome is a new state-of-the-art mAP of 0.541 on the FSD50K classification benchmark.

연구 동기 및 목표

• 스펙트로그램에서 미세한 시간/주파수 이동에 대해 저하되는 강인성 문제로 인해 CNN에서 이동 불변성이 부족한 문제를 해결한다.
• 데이터 증강 또는 전이 학습에 의존하지 않고, 풀링 레이어의 아키텍처 수정이 강인성과 성능 향상에 기여하는지 탐구한다.
• 이종화 저역통과 필터링과 적응형 샘플링 기법이 음성 작업을 위한 CNN에서 이동 불변성을 향상시키는 데 얼마나 효과적인지 평가한다.
• 모델의 용량이 다를 경우에도 일관된 성능 향상이 이루어지는지 확인한다. 강한 정규화 조건 하에서도 동일한 성능 향상을 확보한다.
• 이미지넷 사전학습이나 복잡한 앙상블 기법에 의존하지 않고도 FSD50K 벤치마크에서 최고 성능을 달성한다.

제안 방법

• 최대 풀링 레이어 이전에 학습 가능한 저역통과 필터(TLPF)를 도입하여 고주파 성분을 억제하고, 이동 민감도를 감소시킨다.
• 비학습 가능한 저역통과 필터(BlurPool)를 비교 기준으로 사용하며, 5×5 커널과 사전 정의된 가중치를 활용해 이종화를 모방한다.
• 에너지 최대화 기반으로 동적으로 최적의 샘플링 격자를 선택하는 적응형 다항상태 샘플링(APS)을 적용하여 고정된 서브샘플링 격자가 유도하는 이동 변동성을 방지한다.
• VGG 변종(VGG41 및 VGG42)의 풀링 레이어에 TLPF와 APS를 통합함으로써 원래 아키텍처를 유지하면서도 불변성을 향상시킨다.
• 일관성 있는 일반화와 안정성을 확보하기 위해 믹스업 증강을 강력한 정규화 수단으로 활용한다.
• FSD50K 데이터셋에서 모델을 학습하고, mAP 및 d′를 성능 평가 지표로 사용하며, 제어된 스펙트로그램 왜곡을 통한 이동 강인성에 대한 분석을 실시한다.

실험 결과

연구 질문

• RQ1 CNN에서 이동 불변성이 부족할 경우 음향 이벤트 분류 성능에 부정적인 영향을 미치는가?
• RQ2 특히 저역통과 필터링과 적응형 샘플링을 통해 풀링 레이어의 아키텍처 수정이 이동 불변성과 분류 강인성을 향상시킬 수 있는가?
• RQ3 TLPF와 APS는 음성 태깅을 위한 CNN에 적용했을 때 성능 향상과 계산 비용 측면에서 어떻게 비교되는가?
• RQ4 이러한 방법들이 이미지넷 사전학습이나 모델 앙상블에 의존하지 않고도 최고 성능을 달성할 수 있는가?
• RQ5 이러한 수정이 입력 스펙트로그램의 시간 및 주파수 이동에 대해 얼마나 강인성을 향상시키는가?

주요 결과

• 제안된 TLPF와 APS 풀링 방법은 FSD50K 벤치마크에서 다양한 용량의 모델에 대해 일관되게 음향 이벤트 분류 성능을 향상시킨다.
• TLPF5x5와 l1 노름을 조합한 APS 조합이 가장 높은 mAP 0.541을 기록하며 FSD50K에서 새로운 최고 성능을 수립한다.
• 이동 불변성이 향상된 모델은 왜곡 실험에서 시간 및 주파수 이동 조건에서도 예측이 훨씬 더 안정적이며, 점수 변동성이 감소한 것으로 확인되었다.
• TLPF5x5는 총 파라미터 수 대비 0.24~0.50%에 해당하는 약 6,000~12,000개의 학습 가능한 파라미터만 추가하며, APS는 파라미터를 추가하지 않아 매우 효율적이다.
• 강한 정규화 조건(믹스업) 하에서도 성능 향상이 유지되어, 과적합 때문이 아니라 진정한 불변성 향상에 기인한 것임을 입증한다.
• 최고 성능 모델(0.541 mAP)은 더 단순한 아키텍처를 사용하고 외부 사전학습 없이도 최근의 트랜스포머 기반 모델(0.537 mAP)을 略로 초월한다.