[논문 리뷰] Audio Concept Classification with Hierarchical Deep Neural Networks

Mirco Ravanelli, Benjamin Elizalde외 2명|arXiv (Cornell University)|2017. 10. 11.

Music and Audio Processing참고 문헌 14인용 수 3

한 줄 요약

이 논문은 사용자 생성 영상에서 음성 개념 분류를 위한 계층적 딥 네ural 네트워크(H-DNN)를 제안한다. 이는 49프레임 윈도우를 통한 단기적 맥락과 계층적 신경망을 통한 장기적 조절을 조합한다. H-DNN은 TRECVID-MED 데이터셋에서 GMM보다 54% 상대적 향상, 가장 우수한 DNN 기준보다 12% 향상된 성능을 기록하여, 통제되지 않은 환경에서 의미적 음성 이해를 위한 계층적 딥 러닝의 효과성을 입증한다.

ABSTRACT

Audio-based multimedia retrieval tasks may identify semantic information in audio streams, i.e., audio concepts (such as music, laughter, or a revving engine). Conventional Gaussian-Mixture-Models have had some success in classifying a reduced set of audio concepts. However, multi-class classification can benefit from context window analysis and the discriminating power of deeper architectures. Although deep learning has shown promise in various applications such as speech and object recognition, it has not yet met the expectations for other fields such as audio concept classification. This paper explores, for the first time, the potential of deep learning in classifying audio concepts on User-Generated Content videos. The proposed system is comprised of two cascaded neural networks in a hierarchical configuration to analyze the short- and long-term context information. Our system outperforms a GMM approach by a relative 54%, a Neural Network by 33%, and a Deep Neural Network by 12% on the TRECVID-MED database

연구 동기 및 목표

• 사용자 생성 콘텐츠(UGC) 영상에서 소음이 많고 다양하며 통제되지 않은 조건에서 기록된 음성 개념(예: 웃음, 음악, 엔진 소리 등)을 분류하는 과제를 해결하기 위해.
• 기존 모델인 GMM 등이 제한된 성능을 보이는 상황에서, 특히 계층적 딥 네ural 네트워크와 같은 딥 러닝 아키텍처의 잠재력을 탐색하기 위해.
• 연속된 신경망이 음성 스트림에서 단기적 음향 패턴과 장기적 시간적 조절을 효과적으로 모델링할 수 있는지 조사하기 위해.
• 맥락 윈도우 크기, 차원 축소(DCT), 사전 훈련(RBM), 계층적 처리가 분류 정확도에 미치는 영향을 평가하기 위해.
• H-DNN 출력물이 고수준의 멀티미디어 검색 작업을 위한 강력한 의미적 저수준 특징으로 사용될 수 있음을 입증하기 위해.

제안 방법

• 시스템은 이중 단계 계층 아키텍처를 사용한다: 첫 번째로 MFCC(14차원)의 49프레임 맥락 윈도우를 처리하는 기본 MLP가 있으며, 그 결과물로부터 유도된 희박한 장기 맥락 윈도우를 분석하는 두 번째 MLP가 이어진다.
• 입력 특징은 에너지를 포함한 MFCC(C0–C12)이며, 프레임 단위로 정규화되며, 25ms 히든 윈도우와 10ms 이격을 사용해 49프레임 맥락 윈도우를 적용한다.
• 첫 번째 네트워크 이전에 이산余弦변환(DCT)을 통한 차원 축소를 적용하여 시간적 특징 간 상관관계를 제거한다.
• 첫 번째 네트워크는 ReLU 활성화 함수와 소프트맥스 출력층을 사용하여 후행 확률을 산출하며, 두 번째 네트워크는 이러한 후행 확률을 처리해 장기적 의존성을 모델링한다.
• 딥 아키텍처에서 훈련 안정성과 성능 향상을 위해 제한된 볼츠만 머신(RBM)을 사용한 사전 훈련을 적용한다.
• H-DNN는 백프로파게이션을 통해 엔드 투 엔드로 훈련되며, TRECVID-MED 데이터셋에서 프레임 단위 정확도(F.A.)를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 계층적 딥 네ural 네트워크는 사용자 생성 영상에서 음성 개념을 분류하는 데 있어 전통적인 GMM과 표준 DNN보다 뛰어난 성능을 보일 수 있는가?
• RQ2 단기적 및 장기적 맥락 모델링을 함께 통합하면, 실생활에서 통제되지 않은 환경의 음성에서 음성 개념 분류 정확도가 향상되는가?
• RQ3 층수, 뉴런 수, 사전 훈련, 맥락 윈도우 크기와 같은 아키텍처 선택이 이 작업의 성능에 어떤 영향을 미치는가?
• RQ4 H-DNN의 후행 확률은 고수준 멀티미디어 이벤트 탐지 작업을 위한 효과적인 의미적 특징으로 기능할 수 있는가?
• RQ5 깊이가 동일한 표준 DNN는 왜 수렴하지 못하는가? 계층적 설계는 차원의 극복 문제를 완화시킬 수 있는가?

주요 결과

• H-DNN는 TRECVID-MED 데이터셋에서 프레임 단위 분류 정확도 36.93%를 기록했으며, 이는 GMM 기준(24.07%)보다 54% 상대적 향상이다.
• 가장 우수한 표준 DNN가 32.96% 정확도를 기록한 점을 고려할 때, H-DNN는 12% 상대적 향상된 성능을 보였다.
• 49프레임 맥락 윈도우와 DCT 기반 차원 축소의 사용은 성능 향상에 기여했으며, 특히 맥락 윈도우, DCT, RBM 사전 훈련, 계층적 처리를 모두 조합했을 때 가장 큰 성과를 보였다.
• RBM를 사용한 사전 훈련은 깊고 넓은 아키텍처에서만 성능 향상을 가져오며, 특히 층당 2000개의 뉴런을 가진 3층 네트워크에서 가장 두드러진 성과를 기록했다.
• 유사 깊이의 단일 깊은 네트워크보다 H-DNN 아키텍처가 더 견고했으며, 후자는 차원의 극복 문제와 열악한 국소 최적값으로 인해 수렴하지 못했다.
• 특정 음성 이벤트에 대해 뛰어난 성능을 보였으며, 바람(63% 대 51%), 언어(68% 대 58%), 금속성 소음(73% 대 53%), 엔진 소리(6% 대 3%)에서 일관된 성과를 기록했다.