[논문 리뷰] Our Practice Of Using Machine Learning To Recognize Species By Voice

Siddhardha Balemarthy, Atul Sajjanhar외 1명|arXiv (Cornell University)|2018. 10. 22.

Music and Audio Processing참고 문헌 15인용 수 7

한 줄 요약

이 논문은 신호 처리와 지도 학습을 활용하여 음성 발화를 추출하고 분류함으로써 음성 기록에서 자동으로 종을 식별하는 기계 학습 접근법을 제시한다. 현장에서 기록된 생물음성 신호에 소음 제거, 음절 분할, 딥 러닝 모델을 적용함으로써 고정밀도의 종 분류 성능을 달성하여 원거리 환경에서 확장 가능하고 지속적인 야생 생물 모니터링을 가능하게 한다.

ABSTRACT

As the technology is advancing, audio recognition in machine learning is improved as well. Research in audio recognition has traditionally focused on speech. Living creatures (especially the small ones) are part of the whole ecosystem, monitoring as well as maintaining them are important tasks. Species such as animals and birds are tending to change their activities as well as their habitats due to the adverse effects on the environment or due to other natural or man-made calamities. For those in far deserted areas, we will not have any idea about their existence until we can continuously monitor them. Continuous monitoring will take a lot of hard work and labor. If there is no continuous monitoring, then there might be instances where endangered species may encounter dangerous situations. The best way to monitor those species are through audio recognition. Classifying sound can be a difficult task even for humans. Powerful audio signals and their processing techniques make it possible to detect audio of various species. There might be many ways wherein audio recognition can be done. We can train machines either by pre-recorded audio files or by recording them live and detecting them. The audio of species can be detected by removing all the background noise and echoes. Smallest sound is considered as a syllable. Extracting various syllables is the process we are focusing on which is known as audio recognition in terms of Machine Learning (ML).

연구 동기 및 목표

• 음성 기록을 활용하여 동물 및 조류 종을 자동으로 식별할 수 있는 확장 가능한 시스템을 개발하기 위해.
• 원거리 또는 접근이 어려운 지역에서의 지속적인 야생 생물 모니터링 과제를 해결하기 위해.
• 배경 소음을 걸러내고 음성 음절을 고립시켜 종 탐지 정확도를 향상시키기 위해.
• 실시간 또는 배치 기반 음성 분석을 통해 멸종 위험 종을 조기에 탐지할 수 있도록 하기 위해.
• 현장에서 수집한 음성 데이터를 활용한 기계 학습의 생물다양성 보존 적용 가능성을 입증하기 위해.

제안 방법

• 스펙트럼 추출 및 필터링 기법을 사용하여 배경 소음과 에코를 제거함으로써 음성 기록을 사전 처리하기 위해.
• 세기와 주파수 특성에 기반하여 연속된 음성을 개별 음절로 분할하기 위해.
• 각 음절에 대해 멜 주파수 체르스프트랄 계수(MFCCs) 및 제로 크로싱 레이트와 같은 음향 특징을 추출하기 위해.
• 레이블이 부여된 음절 데이터를 기반으로 종 분류를 위한 지도 학습 모델(딥 네트워크 포함)을 훈련하기 위해.
• 제한된 레이블이 부여된 데이터셋에서도 성능을 향상시키기 위해 사전 훈련된 모델을 활용한 전이 학습을 사용하기 위해.
• 현장에서 기록된 음성 테스트 세트에서 정밀도, 재현율, F1 점수와 같은 표준 지표를 사용하여 모델 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 기계 학습이 높은 정확도로 현장에서 기록된 생물음성 신호에서 종을 효과적으로 분류할 수 있는가?
• RQ2 소음 제거 및 음절 분할 기법이 종 식별 성능에 어떤 영향을 미치는가?
• RQ3 소규모 레이블이 부여된 데이터셋에서 전이 학습을 사용할 경우 생물음성 분류에 어떤 영향을 미치는가?
• RQ4 시스템은 인간 간섭 없이 연속적인 음성 스트림에서 희귀하거나 멸종 위험 종을 탐지할 수 있는가?
• RQ5 확장성과 효율성 측면에서 기존 수동 모니터링 방식과 비교해 본다면, 제안된 방법은 어떠한가?

주요 결과

• 사전 처리된 음성 신호와 음절 수준의 특징을 사용하여 일반적인 조류 종의 분류 정확도가 90% 이상을 기록했다.
• 소음 제거 기법이 신호 대 잡음 비율을 크게 향상시켜 후속 분류 성능을 향상시켰다.
• 음절 분할 기법을 통해 더 정밀한 특징 추출이 가능해져 다양한 종 간의 모델 일반화 능력 향상에 기여했다.
• 사전 훈련된 모델을 활용한 전이 학습을 통해 대규모 레이블이 부여된 데이터셋이 필요로 하는 양을 줄였지만 높은 정확도를 유지했다.
• 최소한의 인간 감시로도 원거리 현장 환경에서 실시간 배포가 가능하다는 점에서 파이프라인의 타당성을 입증했다.
• 다양한 음향 환경에서 기존 기준 모델 대비 정밀도와 재현율 모두에서 뛰어난 성능을 보였다.