[논문 리뷰] On the performance of residual block design alternatives in convolutional neural networks for end-to-end audio classification

Javier Naranjo-Alcazar, Sergi Perez-Castanos외 3명|arXiv (Cornell University)|2019. 06. 26.

Music and Audio Processing참고 문헌 24인용 수 9

한 줄 요약

이 논문은 원시 파형을 사용하는 엔드 투 엔드 음성 분류를 위한 1D 컨볼루션 신경망에서 여섯 가지 잔차 블록(RB) 설계를 평가하며, 다양한 입력 정규화 방법에 따른 성능을 비교한다. 결과적으로 RB 성능는 정규화 유형에 매우 의존적이며, RB1과 RB2가 일관되게 다른 것들보다 뛰어나며, 1D 아키텍처가 로그-멜 스펙트로그램을 사용하는 2D 대비 우수한 성능을 보인다.

ABSTRACT

Residual learning is a recently proposed learning framework to facilitate the training of very deep neural networks. Residual blocks or units are made of a set of stacked layers, where the inputs are added back to their outputs with the aim of creating identity mappings. In practice, such identity mappings are accomplished by means of the so-called skip or residual connections. However, multiple implementation alternatives arise with respect to where such skip connections are applied within the set of stacked layers that make up a residual block. While ResNet architectures for image classification using convolutional neural networks (CNNs) have been widely discussed in the literature, few works have adopted ResNet architectures so far for 1D audio classification tasks. Thus, the suitability of different residual block designs for raw audio classification is partly unknown. The purpose of this paper is to analyze and discuss the performance of several residual block implementations within a state-of-the-art CNN-based architecture for end-to-end audio classification using raw audio waveforms. For comparison purposes, we analyze as well the performance of the residual blocks under a similar 2D architecture using a conventional time-frequency audio represen-tation as input. The results show that the achieved accuracy is considerably dependent, not only on the specific residual block implementation, but also on the selected input normalization.

연구 동기 및 목표

• 원시 음성 파형을 사용하는 엔드 투 엔드 음성 분류를 위한 1D 컨볼루션 신경망에서 다양한 잔차 블록(RB) 설계의 성능을 평가하는 것.
• 다양한 입력 정규화 기법이 이러한 잔차 블록 변종의 성능에 미치는 영향을 분석하는 것.
• 시간-주파수 표현(예: 로그-멜 스펙트로그램)을 사용하는 2D 아키텍처와 1D 잔차 네트워크를 비교하는 것.
• 정확도와 훈련 안정성 측면에서 1D 잔차 네트워크가 2D 표현보다 우월한지 여부를 판단하는 것.
• 원시 음성 분류에 최적의 RB 아키텍처와 전처리 전략을 선택하는 데 실증적 지침을 제공하는 것.

제안 방법

• 이미지 분류에서 흔히 사용되는 여섯 가지 잔차 블록 설계를 원시 음성 입력을 위한 1D 컨볼루션 신경망으로 적응시켰다.
• 모든 실험의 기초로 이전 연구에서 제안된 기본 1D ResNet 아키텍처를 사용했다.
• 다양한 입력 정규화 기법을 적용: 전처리 없음, 최소-최대 스케일링(scale max), 평균-표준편차 정규화.
• 두 개의 공개 데이터셋인 UrbanSound8k와 ESC-10(ESC-50 서브셋)에서 모델을 훈련하고 평가했다.
• RB와 정규화 간 성능 차이를 비교하기 위해 Tukey-Kramer 방법을 사용한 통계적 유의성 검정을 실시했다.
• 비교 및 기준 설정을 위해 로그-멜 스펙트로그램 입력을 사용하는 2D ResNet 변종과 1D 잔차 네트워크를 비교했다.

실험 결과

연구 질문

• RQ1 다양한 잔차 블록 설계는 1D CNN에서 원시 음성 분류의 정확도에 어떤 영향을 미치는가?
• RQ2 입력 정규화는 다양한 잔차 블록 구현의 성능에 어떤 영향을 미치는가?
• RQ3 1D 잔차 네트워크는 시간-주파수 표현을 사용하는 2D 아키텍처보다 음성 분류 과제에서 뛰어나게 작용하는가?
• RQ4 다양한 데이터셋과 정규화 방식에서 잔차 블록 설계 간 일관된 성능 순위가 존재하는가?
• RQ5 다양한 전처리 조건 하에서 잔차 블록 변종 간 성능 차이의 통계적 유의성은 무엇인가?

주요 결과

• RB1과 RB2는 정규화 유형에 관계없이 UrbanSound8k와 ESC-10 데이터셋에서 항상 가장 높은 분류 정확도를 기록했다.
• 잔차 블록 설계와 입력 정규화의 조합에 따라 성능가 크게 달라졌으며, 유일하게 모든 경우에서 승리하는 RB는 존재하지 않았다.
• 1D 잔차 네트워크 아키텍처는 로그-멜 스펙트로그램을 사용하는 2D ResNet보다 더 뛰어난 성능을 보였으며, 엔드 투 엔드 원시 음성 처리의 이점이 있음을 시사한다.
• Tukey-Kramer 사후 검정 결과, RB 간 유의미한 성능 차이가 확인되었으며, 특히 '전처리 없음' 및 'max' 정규화 조건에서 RB2와 RB5 사이에 뚜렷한 차이가 나타났다.
• 평균-표준편차 정규화 조건에서는 RB3가 다른 RB들과 유의미하게 다른 성능를 보였으며, 이 정규화 유형에 민감함을 나타낸다.
• 결과적으로, 표현 방식 선택에 대한 민감도가 낮고 하이퍼파rameter가 적어, 음성용 1D ResNet 아키텍처 설계는 2D 아키텍처 설계보다 덜 복잡하다.