[논문 리뷰] Scalable Preprocessing of High Volume Bird Acoustic Data

Alexander Brown, Saurabh Garg외 1명|arXiv (Cornell University)|2018. 02. 02.

Animal Vocal Communication and Behavior참고 문헌 18인용 수 3

한 줄 요약

이 논문은 고속도의 새 음성 데이터를 대상으로 가용성 있고 분산된 전처리 파이프라인을 제안하며, 노이즈 감소, 다운샘플링, 오디오 청크화를 최적화된 순서로 통합한다. 32개의 코어에 걸쳐 데이터 병렬 처리를 수행하는 마스터-슬레이브 아키텍처를 활용함으로써, 순차 처리 대비 21.76배의 성능 향상을 달성하여 대규모 생물음성 분석의 효율성을 크게 향상시키며, 노이즈 억제 및 신호 강화의 높은 정확도를 유지한다.

ABSTRACT

In this work, we examine the problem of efficiently preprocessing high volume bird acoustic data. We combine several existing preprocessing steps including noise reduction approaches into a single efficient pipeline by examining each process individually. We then utilise a distributed computing architecture to improve execution time. Using a master-slave model with data parallelisation, we developed a near-linear automated scalable system, capable of preprocessing bird acoustic recordings 21.76 times faster with 32 cores over 8 virtual machines, compared to a serial process. This work contributes to the research area of bioacoustic analysis, which is currently very active because of its potential to monitor animals quickly at low cost. Overcoming noise interference is a significant challenge in many bioacoustic studies, and the volume of data in these studies is increasing. Our work makes large scale bird acoustic analyses more feasible by parallelising important bird acoustic processing tasks to significantly reduce execution times.

연구 동기 및 목표

• 대규모 생물음성 연구에서 고속도의 새 음성 데이터를 효율적으로 처리하는 데 발생하는 증가하는 과제를 해결한다.
• 확장성에 장애를 주는 순차적, 수동적 또는 반자동 전처리 파이프라인의 비효율성을 극복한다.
• 노이즈 감소, 다운샘플링, 필터링 등의 여러 단계를 하나의 효율적인 워크플로우로 통합한 통합적이고 최적화된 전처리 파이프라인을 개발한다.
• 마스터-슬레이브 모델과 데이터 병렬 처리를 활용해 여러 머신에 파이프라인을 분산시켜 근사 선형 확장성을 달성한다.
• 실행 시간과 자원 활용도를 향상시키면서도, 비오기, 메뚜기, 배경 노이즈 등의 노이즈 원천을 탐지하고 제거하는 데 있어 정확도를 유지한다.

제안 방법

• 오디오 분할, 22.05 kHz로의 다운샘플링, 모노 변환, 1 kHz에서의 고역통과 필터링, MMSE STSA 노이즈 감소, 256샘플의 히팅 윈도우와 50% 겹침을 사용한 FFT 기반 스펙트럼 분석을 포함하는 다단계 전처리 파이프라인 설계.
• 8대의 가상 머신과 32개의 코어를 활용해 오디오 청크에 걸쳐 병렬 처리를 수행하는 마스터-슬레이브 분산 아키텍처 구현.
• 각 단계의 시간 절감 효과와 정확도 영향을 분석하여 파이프라인 순서를 최적화하고, 재처리가 발생하지 않도록 계산량이 많은 프로세스인 MMSE STSA 필터링을 후단으로 연기.
• 음향 지수를 활용한 규칙 기반 분류(C4.5)를 통해 스펙트럼 전력과 신호 대 노이즈 비율을 기반으로 강우 및 메뚜기 둔화음을 탐지하고 제거.
• 비신호 세그먼트를 제거하기 위해 침묵 제거 기능을 적용하여 처리 효율을 향상시키면서도 탐지 정확도를 손상시키지 않는다.
• 더 강력한 노드에 더 많은 파일을 동적으로 할당하고 일관된 CPU 활용도(~90%)를 확보함으로써 작업 부하를 균형 있게 분배한다.

실험 결과

연구 질문

• RQ1 고속도의 새 음성 데이터를 처리하면서 재처리를 최소화할 수 있는 통합적이고 효율적인 전처리 파이프라인을 어떻게 설계할 수 있는가?
• RQ2 노이즈 감소 및 신호 강화의 정확도를 유지하면서 최대의 성능 향상을 달성하기 위해 전처리 단계의 최적 순서는 무엇인가?
• RQ3 데이터 병렬 처리를 활용한 분산 마스터-슬레이브 아키텍처는 복잡한 생물음성 전처리 파이프라인의 실행을 어느 정도 확장할 수 있는가?
• RQ4 속도 향상과 자원 활용도 측면에서 기존의 Hadoop 또는 Spark와 같은 분산 프레임워크와 비교해 시스템 성능는 어떻게 되는가?
• RQ5 파이프라인은 상당한 아키텍처 재설계 없이도 추가적인 노이즈 유형이나 더 정교한 세그먼테이션 기법을 통합할 수 있는가?

주요 결과

• 제안된 파이프라인은 8대의 가상 머신과 32개의 코어를 사용해 데이터 처리 시 21.76배의 성능 향상을 달성하여 근사 선형 확장성을 입증했다.
• MMSE STSA 필터링이 가장 계산량이 많은 구성 요소로 확인되어, 이미 처리된 데이터를 재처리하는 것을 방지하기 위해 파이프라인 후단에 위치시키는 것이 타당하다고 판단되었다.
• 고역통과 필터링과 메뚜기 노이즈 제거는 짧은 파일보다 더 긴 파일을 적은 수로 처리할 경우 더 효율적이었으며, 이는 최적의 청크 전략에 영향을 주었다.
• 모든 머신에서 일관된 약 90%의 CPU 활용도를 달성하여 효과적인 로드 밸런싱과 낮은 비활성 처리 시간을 입증했다.
• RAM 활용도는 50% 이하를 유지하여 메모리가 주요 병목 요소가 아니며, 시스템이 계산 능력에 의해 제한된다는 것을 시사한다.
• 파이프라인은 모듈식이며 확장 가능하여, 추가적인 노이즈 감소 기법이나 고급 세그먼테이션 방법을 최소한의 아키텍처 변경으로 통합할 수 있다.