[논문 리뷰] auDeep: Unsupervised Learning of Representations from Audio with Deep Recurrent Neural Networks

Michael Freitag, Shahin Amiriparian외 3명|arXiv (Cornell University)|2017. 12. 12.

Music and Audio Processing인용 수 123

한 줄 요약

auDeep은 오디오의 무감독 표현 학습을 위한 파이썬 도구 키트로, 순환 시퀀스-투-시퀀스 오토인코더를 사용하여 스펙트로그램에서 표현을 생성하고, 최첨단 오디오 분류 방법과 경쟁적으로 작동합니다.

ABSTRACT

auDeep is a Python toolkit for deep unsupervised representation learning from acoustic data. It is based on a recurrent sequence to sequence autoencoder approach which can learn representations of time series data by taking into account their temporal dynamics. We provide an extensive command line interface in addition to a Python API for users and developers, both of which are comprehensively documented and publicly available at https://github.com/auDeep/auDeep. Experimental results indicate that auDeep features are competitive with state-of-the art audio classification.

연구 동기 및 목표

• 오디오에 대한 무감독 심층 표현 학습을 손으로 제작된 특징에 대한 대안으로 동기 부여한다.
• 스펙트로그램 시퀀스의 시간적 동역학을 포착하기 위해 순환 시퀀스-투-시퀀스 오토인코더를 개발한다.
• 오디오 표현 학습을 위한 파이썬 API와 명령줄 인터페이스를 갖춘 오픈 소스 텐서플로우 기반 도구 키트를 제공한다.

제안 방법

• 입력 시퀀스를 최종 은닉 상태로 인코딩하는 RNN(LSTM/GRU)으로 구성된 시퀀스-투-시퀀스 오토인코더를 구현한다.
• 입력 시퀀스를 재구성하도록 디코더를 초기화하기 위해 인코더를 학습하고, RMS 오차의 제곱근을 최소화한다.
• 시간에 의존하는 시퀀스로 간주된 스펙트로그램에서 고정 길이 표현을 얻기 위해 완전 연결 계층에서 표현을 생성하도록 학습한다.
• NetCDF 데이터 처리, 선택적 메타데이터, 평가를 위한 내장 분류기(MLP 및 LibLINEAR)를 제공하는 사용하기 쉬운 도구 키트를 제공한다.
• 가능하면 GPU 가속을 활용하고 모델 토폴로지/매개변수를 텐서플로우 체크포인트로 저장한다.

실험 결과

연구 질문

• RQ1 무감독 방식의 seq2seq로 학습된 오디오 스펙트로그램 표현이 오디오 분류 작업에 대해 경쟁력 있는 특징을 제공하는가?
• RQ2 auDeep 표현은 음향 환경 분류, 환경 소리 분류, 음악 장르 분류 등 작업에서 기초 방법 및 최첨단 방법과 어떻게 비교되는가?
• RQ3 아키텍처 선택의 영향(예: 층 수, RNN 유형)이 표현 품질 및 분류 성능에 어떤 영향을 미치는가?
• RQ4 API, CLI, 데이터 내보내기 옵션을 통해 auDeep의 표현을 표준 ML 파이프라인에 쉽게 통합할 수 있는가?

주요 결과

• auDeep 특징은 여러 데이터 세트에서 오디오 분류에 대해 최첨단 접근법과 경쟁력이 있다.
• auDeep은 평가된 데이터 세트에서 합성 신경망(CNN) 접근법 및 희소 코딩(Sparse Coding) 접근법을 맞먹거나 능가하지만, 외부에서 사전 학습된 모델과의 비교에 몇 가지 주의점이 있다.
• SoundNet은 ESC-10 및 ESC-50에서 더 강력한 성능을 달성했지만, auDeep은 외부 데이터로 사전 학습되지 않고 ESC-10/ESC-50 데이터만으로 학습되었다.
• 도구 키트는 동일한 프레임워크 내에서 학습된 표현을 평가하기 위한 내장 분류기(softmax가 있는 MLP 및 LibLINEAR)를 제공한다.
• auDeep은 오픈 소스이며 텐서플로우 기반이고 CPU 전용 또는 GPU 가속 실행을 지원하며, 데이터는 NetCDF로 처리되고 CSV/ARFF로 내보내는 옵션이 있다.