[논문 리뷰] AENet: Learning Deep Audio Features for Video Analysis

Naoya Takahashi, Michael Gygli외 1명|arXiv (Cornell University)|2017. 01. 03.

Music and Audio Processing참고 문헌 8인용 수 5

한 줄 요약

이 논문은 원시 음성에서 끝내기 학습을 위한 넓은 시간적 수용장역을 갖춘 딥 컨volution 신경망인 AENet을 제안한다. 새로운 데이터 증강 기법을 활용하고 다량의 다양한 음성 이벤트 데이터셋으로 훈련함으로써, AENet는 음성 이벤트 검출에서 16% 향상된 성능을 달성하며, 시각적 특징과 융합했을 때 영상 하이라이트 검출 성능을 8% 이상 향상시켜 강력한 전이 가능성과 영상 분석 작업에 대한 일반화 능력을 입증한다.

ABSTRACT

We propose a new deep network for audio event recognition, called AENet. In contrast to speech, sounds coming from audio events may be produced by a wide variety of sources. Furthermore, distinguishing them often requires analyzing an extended time period due to the lack of clear sub-word units that are present in speech. In order to incorporate this long-time frequency structure of audio events, we introduce a convolutional neural network (CNN) operating on a large temporal input. In contrast to previous works this allows us to train an audio event detection system end-to-end. The combination of our network architecture and a novel data augmentation outperforms previous methods for audio event detection by 16%. Furthermore, we perform transfer learning and show that our model learnt generic audio features, similar to the way CNNs learn generic features on vision tasks. In video analysis, combining visual features and traditional audio features such as MFCC typically only leads to marginal improvements. Instead, combining visual features with our AENet features, which can be computed efficiently on a GPU, leads to significant performance improvements on action recognition and video highlight detection. In video highlight detection, our audio features improve the performance by more than 8% over visual features alone.

연구 동기 및 목표

• 말이 아닌 장기적인 시간적 구조를 포괄하는 일반적이고 구분력 있는 음성 특징의 부족을 해결하기 위해.
• 초기 음성 이벤트를 끝내기 학습할 수 있는 딥 CNN 아키텍처를 개발하여, 시간 순서를 유지한다.
• 일반적인 음성 표현을 훈련하기에 적합한 대규모이고 다양한 음성 이벤트 데이터셋을 구축하기 위해.
• 시각적 특징과 학습된 음성 특징을 융합하여 영상 분석 성능—특히 동작 인식과 하이라이트 검출 성능—을 향상시키기 위해.
• AENet를 통해 학습된 음성 특징이 영상 분석 작업 전반에 걸쳐 잘 일반화됨을 입증하여, 시각 분야의 전이 학습과 유사한 성능을 보여주기 위해.

제안 방법

• AENet는 최대 9층의 깊이 있는 컨volution 신경망과 넓은 입력 장역을 사용하여 장기적인 음성 이벤트를 모델링하며, 장기적인 세그먼트에서 끝내기 학습이 가능하도록 한다.
• 작은 필터와 깊은 아키텍처를 사용하여 몇 초에 걸친 음성에서 세밀한 스펙트럼적 및 시간적 패턴을 포착한다.
• 일반화 능력 향상과 과적합 방지를 위해 새로운 데이터 증강 방법을 도입한다. 특히 훈련 데이터가 제한된 경우에 유용하다.
• AENet의 최종 컨볼루션 레이어에서 음성 특징을 추출하여 후속 영상 작업을 위한 일반적인 표현으로 사용한다.
• 영상 분석을 위해 AENet 특징과 C3D 시각적 특징을 후기 융합을 통해 융합하여 성능을 향상시킨다.
• 노이즈가 많고 약한 레이블이 부여된 데이터에서 훈련을 최적화하기 위해 랭킹 손실, 투르 손실, 다중 예측 랭킹 손실(MIRank) 등의 다수의 손실 함수를 평가한다.

실험 결과

연구 질문

• RQ1 넓은 시간적 수용장역을 갖춘 딥 CNN이 원시 음성에서 영상 분석을 위한 구분력 있는 음성 이벤트 특징을 효과적으로 학습할 수 있는가?
• RQ2 데이터 증강 기법이 음성 이벤트 인식 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ3 기존의 음성 특징이나 시각적 특징만을 사용할 때와 비교해 AENet 특징이 영상 하이라이트 검출 성능에 얼마나 향상시키는가?
• RQ4 AENet에서 학습된 음성 특징이 음성 이벤트 검출을 초과하는 후속 영상 작업에 잘 일반화되는가?
• RQ5 노이즈가 많고 약한 레이블이 부여된 데이터에서 음성 이벤트 인식 모델을 훈련시키는 데 최적의 손실 함수는 무엇인가?

주요 결과

• AENet는 이전 최고 성능 모델 대비 음성 이벤트 검출 성능에서 상대적으로 16% 향상되어 뛰어난 특징 학습 능력을 입증한다.
• MIRank 손실 함수를 사용할 경우 하이라이트 검출 작업에서 최고의 mAP 56.6%를 기록하며 다른 손실 함수보다 뛰어난 성능을 보였다.
• AENet 특징과 C3D 시각적 특징을 융합하면, 시각적 특징만 사용할 때보다 영상 하이라이트 검출 성능이 평균 8.6% 향상되었다.
• 정성적 결과에서는 AENet 특징이 발자국 소리나 점프 충격 소리와 같은 주목할 만한 음성 신호를 효과적으로 포착하여 더 정확한 하이라이트 지역화를 가능하게 했다.
• 모델의 일반화 능력이 뛰어나 AENet 특징은 동작 인식과 하이라이트 검출 성능을 향상시켜 영상 분석 작업 전반에 걸쳐 전이 가능성의 잠재력을 보였다.
• 제안된 데이터 증강 방법은 특히 데이터가 적은 환경에서 성능 향상에 크게 기여하여 모델의 강건성을 향상시켰다.