[논문 리뷰] Improving performance and inference on audio classification tasks using capsule networks

Royal Jain|arXiv (Cornell University)|2019. 02. 13.

Music and Audio Processing참고 문헌 23인용 수 12

한 줄 요약

이 논문은 동적 라우팅-협의를 활용하여 성능과 추론 능력을 향상시키는 오디오 분류를 위한 캡슐 네트워크 아키텍처를 제안한다. 일곱 가지 다양한 오디오 데이터셋에서 CNN, LSTM, 어텐션 기반 모델보다 뚜렷한 정확도 향상을 보이며, 캡슐 활성도 벡터를 통해 데이터 및 효과적인 전이 학습에 대한 통찰을 제공한다.

ABSTRACT

Classification of audio samples is an important part of many auditory systems. Deep learning models based on the Convolutional and the Recurrent layers are state-of-the-art in many such tasks. In this paper, we approach audio classification tasks using capsule networks trained by recently proposed dynamic routing-by-agreement mechanism. We propose an architecture for capsule networks fit for audio classification tasks and study the impact of various parameters on classification accuracy. Further, we suggest modifications for regularization and multi-label classification. We also develop insights into the data using capsule outputs and show the utility of the learned network for transfer learning. We perform experiments on 7 datasets of different domains and sizes and show significant improvements in performance compared to strong baseline models. To the best of our knowledge, this is the first detailed study about the application of capsule networks in the audio domain.

연구 동기 및 목표

• 자기 유사 변환과 시간적 민감성 문제를 해결하기 위해 동적 라우팅-협의를 활용한 캡슐 네트워크를 오디오 분류 작업에 적응시키기.
• 캡슐 차원성과 라우팅 반복 횟수와 같은 아키텍처 하이퍼파라미터가 분류 정확도에 미치는 영향을 조사하기.
• MFCC 입력을 재구성하는 재구성 헤드를 활용한 새로운 정규화 기법을 도입하여 모델의 강건성 향상하기.
• 가중치 손실 조정을 통해 성능 향상을 이끌어내는 다중 레이블 오디오 분류 작업으로 캡슐 네트워크 확장하기.
• 캡슐 출력이 관련 오디오 도메인에서 데이터 해석 및 전이 학습에 어떻게 활용될 수 있는지 탐색하기.

제안 방법

• MFCC를 입력 특징으로 사용하고 동적 라우팅-협의를 적용하여 계층적 부분-전체 관계를 학습하는 오디오 입력 전용 캡슐 네트워크 아키텍처를 제안한다.
• 분류를 위한 마진 손실과 재구성에 대한 평균 절대 오차(MAE)를 조합한 이중 스트림 손실 함수를 도입하여 입력 재구성에 의한 정규화를 가능하게 한다.
• 재구성 손실에서 특징의 지배를 방지하고 훈련을 안정화하기 위해 MFCC 특징에 최소-최대 스케일링을 적용한다.
• 주성분 분석(PCA)을 캡슐 활성도 벡터에 적용하여 진폭과 속도 변화에 따른 출력의 변화를 분석하고, 자세 불변 표현을 밝혀낸다.
• 하류 작업에서 MFCC와 캡슐 레이어 출력을 연결하여 캡슐 레이어 출력을 전이 가능한 특징으로 활용함으로써 소스 도메인에서 타겟 도메인으로 지식 전이 가능하게 한다.
• 다중 레이블 설정에서 오차를 줄이기 위해 조정 가능한 하이퍼파라미터 λ를 활용한 가중 이진 교차 엔트로피 손실을 사용한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크는 다양한 오디오 분류 벤치마크에서 CNN, LSTM, 어텐션 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ2 오디오 분류 정확도를 극대화하기 위해 최적의 캡슐 차원성과 라우팅 반복 횟수는 무엇인가?
• RQ3 재구성 기반 정규화를 갖춘 캡슐 네트워크는 특히 소규모 데이터셋에서 일반화 능력을 향상시키는가?
• RQ4 캡슐 활성도 벡터는 진폭과 속도에 대한 제어된 편향에 어떻게 반응하며, 이는 학습된 표현에 대해 무엇을 드러내는가?
• RQ5 캡슐 활성도 벡터는 관련 오디오 분류 작업에서 전이 가능한 특징으로 얼마나 효과적으로 활용될 수 있는가?

주요 결과

• 캡슐 네트워크는 일곱 개의 모든 데이터셋에서 강력한 기준 모델(CNN, LSTM, 어텐션 모델)보다 높은 분류 정확도를 달성했으며, FSDD 및 VCTK와 같은 소규모 데이터셋에서 가장 뚜렷한 향상을 보였다.
• 최적의 캡슐 차원성이 존재한다—정확도는 일정 지점까지 증가하다가 감소하며, 모델 용량과 과적합 사이의 상충 관계를 시사한다.
• 재구성 헤드를 통한 정규화는 소규모 데이터셋(예: FSDD)에서 성능 향상에 뚜렷한 기여를 하여 과적합을 줄이고 일반화 능력을 향상시켰다.
• 입력의 진폭과 속도가 편향되었을 때 PCA 공간에서 캡슐 출력이 명확하게 분리됨을 확인하여 출력 벡터가 의미 있는 자세 관련 정보를 포함하고 있음을 입증했다.
• 캡슐 활성도 벡터를 활용한 전이 학습은 Ravdess 감정 분류 정확도를 41%에서 50%로 향상시켜 학습된 특징의 전이 가능성과 효과를 입증했다.
• 다중 레이블 설정에서 라우팅-협의는 클래스 간 간섭을 줄여 Multi-VCTK 및 Multi-MUSAN 데이터셋에서 가중 정확도 향상을 이끌어냈다.