[논문 리뷰] Machine learning in acoustics: a review.

Michael J. Bianco, Peter Gerstoft외 6명|arXiv (Cornell University)|2019. 05. 11.

Underwater Acoustics Research인용 수 6

한 줄 요약

이 논문은 기계학습(ML), 특히 딥 러닝이 음향 분야에서 미친 전환적 영향을 검토하며, 소스 국정, 생물음향학, 환경 음향 분석과 같은 복잡한 과업에서 데이터 기반 모델이 전통적인 신호 처리 기법을 능가하는 방식을 보여준다. 이는 대규모 데이터셋에서 복잡한 음향 패턴을 학습함으로써 음성 처리, 해양 음향학, 생태 모니터링 분야의 돌파구를 이끌 수 있음을 강조한다.

ABSTRACT

Acoustic data provide scientific and engineering insights in fields ranging from biology and communications to ocean and Earth science. We survey the recent advances and transformative potential of machine learning (ML), including deep learning, in the field of acoustics. ML is a broad family of techniques, which are often based in statistics, for automatically detecting and utilizing patterns in data. Relative to conventional acoustics and signal processing, ML is data-driven. Given sufficient training data, ML can discover complex relationships between features and desired labels or actions, or between features themselves. With large volumes of training data, ML can discover models describing complex acoustic phenomena such as human speech and reverberation. ML in acoustics is rapidly developing with compelling results and significant future promise. We first introduce ML, then highlight ML developments in four acoustics research areas: source localization in speech processing, source localization in ocean acoustics, bioacoustics, and environmental sounds in everyday scenes.

연구 동기 및 목표

• 기계학습이 다양한 과학 및 공학 분야의 음향 분야에 미치는 영향이 점점 커지는 것을 검토하는 것.
• 기계학습이 데이터 기반 모델링을 통해 극복할 수 있는 전통적 신호 처리 기법의 핵심 과제를 특정하는 것.
• 음성 및 해양 음향학 분야에서 소스 국정에 응용된 기계학습의 최근 발전을 검토하는 것.
• 실제 환경에서의 생물음향학 및 환경 음향 분석에 있어 기계학습의 역할을 평가하는 것.
• 대규모 데이터와 딥 러닝이 복잡한 음향 현상(예: 반향 및 인간의 말소리)을 모델링하는 데 어떻게 기여할 수 있는지 강조하는 것.

제안 방법

• 음성 처리, 해양 음향학, 생물음향학, 환경 음향 인식의 네 가지 핵심 음향 분야에서 최근 문헌과 사례 연구를 조사하는 것.
• 수동으로 설계된 신호 처리 특징에 의존하지 않고 음향 데이터에서 직접 패턴을 학습하는 데이터 기반 기계학습 기법에 집중하는 것.
• 오디오의 시간적 및 스펙트럼적 패턴을 모델링하기 위해 컨volutional 및 순환 신경망과 같은 딥 러닝 아키텍처를 강조하는 것.
• 대규모 훈련 데이터셋이 음향 특징과 레이블 간의 복잡한 관계를 발견하는 데 어떻게 기여하는지 분석하는 것.
• 정확도, 내구성, 적응 가능성 측면에서 기계학습 기반 접근법과 기존의 신호 처리 방법을 비교하는 것.
• 저자료 환경에서의 전이 학습과 표현 학습을 통해 모델 일반화 능력을 설명하는 것.

실험 결과

연구 질문

• RQ1 기계학습은 전통적 방법에 비해 음성 및 수중 음향 환경에서 소스 국정을 어떻게 향상시키는가?
• RQ2 기계학습은 생물음향학에서 동물의 소리 표현을 감지하고 분류하는 데 어떤 방식으로 향상시킬 수 있는가?
• RQ3 복잡한 음향 현상을 모델링할 때 데이터 기반 기계학습 모델이 기존의 신호 처리 기법보다 가지는 주요 이점은 무엇인가?
• RQ4 대규모 데이터셋과 딥 러닝 아키텍처는 반향과 음성 신호를 모델링하는 데 어떻게 기여하는가?
• RQ5 환경 음향 및 일상적인 음향 환경 분석 분야에서 기계학습의 현재의 한계와 향후 연구 방향은 무엇인가?

주요 결과

• 기계학습은 데이터에서 복잡한 공간적 및 스펙트럼적 패턴을 학습함으로써 음성 처리 분야에서 더 정확하고 내구성이 뛰어난 소스 국정을 가능하게 한다.
• 해양 음향학 분야에서 기계학습 모델은 비선형 전파 효과와 환경의 변동성을 포착함으로써 수중 소리 소스의 국정 성능을 향상시킨다.
• 딥 러닝 기법은 조용한 환경이 아니나 복잡한 환경에서도 동물의 소리 표현 감지 및 분류 능력을 크게 향상시킨다.
• 기계학습 기반 환경 음향 인식 시스템은 원시 오디오에서 도어벨이나 교통 소리와 같은 일상적인 음향 사건을 식별하는 데 높은 성능을 보인다.
• 대규모 훈련 데이터셋을 활용함으로써 기계학습 모델은 음향 데이터 내 복잡한 관계를 발견할 수 있으며, 이는 반향과 같은 현상의 일반화 및 모델링 능력을 향상시킨다.
• 고차원적, 비선형적이거나 비정상적인 음향 신호를 포함한 상황에서는 데이터 기반 기계학습 접근법이 전통적인 신호 처리 기법을 능가한다.