[논문 리뷰] Employing Subsequence Matching in Audio Data Processing

Petr Volný, David Novák외 1명|arXiv (Cornell University)|2012. 04. 11.

Music and Audio Processing참고 문헌 38인용 수 3

한 줄 요약

이 논문은 음성 데이터 처리에서 유사도 검색을 가속화하기 위해 MESSIF 기반의 부분수열 매칭 프레임워크(SMF)를 제안한다. 특히 비지도 말항목 탐지에 초점을 맞추고 있다. DTW의 계산 비용이 높다는 문제를 해결하기 위해 편집거리 기반 함수(예: ERD, ERP)를 사용하는 메트릭 인덱스(M-index 등)를 활용함으로써, 재컴파일이 필요 없이도 유연한 알고리즘 프로토타이핑이 가능한 빠르고 확장 가능한 쿼리-바이-예제 음성 검색을 가능하게 한다.

ABSTRACT

We overview current problems of audio retrieval and time-series subsequence matching. We discuss the usage of subsequence matching approaches in audio data processing, especially in automatic speech recognition (ASR) area and we aim at improving performance of the retrieval process. To overcome the problems known from the time-series area like the occurrence of implementation bias and data bias we present a Subsequence Matching Framework as a tool for fast prototyping, building, and testing similarity search subsequence matching applications. The framework is build on top of MESSIF (Metric Similarity Search Implementation Framework) and thus the subsequence matching algorithms can exploit advanced similarity indexes in order to significantly increase their query processing performance. To prove our concept we provide a design of query-by-example spoken term detection type of application with the usage of phonetic posteriograms and subsequence matching approach.

연구 동기 및 목표

• 시간시리즈 및 음성 유사도 검색에서 발생하는 성능 저하 문제, 특히 비지도 음성 분석에서 DTW의 높은 계산 비용을 해결하기 위해.
• 대규모 전사 데이터에 의존하는 것을 줄이고, 자원이 제한된 또는 OOV(OOV: Out-of-Vocabulary) 상황에서 효율적이고 프로토타이핑 友好的한 부분수열 매칭을 가능하게 하기 위해.
• 다양한 부분수열 매칭 알고리즘과 거리 함수를 빠르게 실험할 수 있도록 모듈러하고 확장 가능한 프레임워크를 개발하기 위해.
• M-index와 같은 고급 메트릭 인덱스와 부분수열 매칭을 통합하여 음성 데이터에서 효율적인 유사도 검색을 가능하게 하기 위해.
• 실제 쿼리-바이-예제 말항목 탐지 응용에서 프레임워크의 실현 가능성과 성능 향상을 입증하기 위해.

제안 방법

• 부분수열 매칭 프레임워크(SMF)는 메트릭 유사도 검색 프레임워크인 MESSIF 위에 구축되어 있으며, M-index와 같은 기존 메트릭 인덱스와의 통합을 가능하게 한다.
• 모듈러 설계를 지원하여, 재컴파일 없이도 거리 함수, 특징 추출기, 인덱싱 전략 등의 컴포onent를 런타임에서 구성할 수 있다.
• 프레임워크는 부분수열 매칭의 입력 특징으로 음소 후보 확률의 시간시리즈 표현인 음성학적 포스터리오그램(phonetic posteriograms)을 사용한다.
• 전통적인 DTW 대신 메트릭 공간 인덱싱과 호환되는 편집거리 기반 거리 함수(예: ERD, ERP)를 도입함으로써 쿼리 성능을 향상시킨다.
• MESSIF의 내장된 쿼리 인터페이스를 통해 범위 쿼리와 KNN 쿼리를 지원하며, 대규모 음성 데이터를 위한 분산 및 다층 인덱싱도 가능하다.
• 시스템은 리플렉션과 RMI를 활용한 자바로 구현되었으며, MESSIF-UI를 통한 웹 기반 UI 통합을 지원하여 데모 및 평가 용도로 활용된다.

실험 결과

연구 질문

• RQ1 메트릭 호환 거리 함수를 사용한 부분수열 매칭이 DTW 기반 접근 방식에 비해 말항목 탐지 성능을 향상시키는가?
• RQ2 모듈러하고 확장 가능한 프레임워크는 음성 검색에서 부분수열 매칭 알고리즘의 프로토타이핑과 테스트를 얼마나 효과적으로 가속화하는가?
• RQ3 DTW 외의 거리 함수를 사용할 때 M-index와 같은 메트릭 인덱스가 음성 데이터 유사도 검색을 얼마나 빠르게 하는가?
• RQ4 대규모 전사 학습 데이터가 없이도 프레임워크는 효율적인 쿼리-바이-예제 말항목 탐지 기능을 지원할 수 있는가?
• RQ5 부분수열 매칭에서 DTW 대신 편집거리 기반 거리 함수(예: ERD, ERP)를 사용할 경우 성능와 정확도 간의 상호 보완 관계는 어떻게 되는가?

주요 결과

• 부분수열 매칭 프레임워크는 ERD, ERP와 같은 메트릭 호환 거리 함수를 도입함으로써 음성 데이터에서 빠르고 확장 가능한 유사도 검색을 성공적으로 구현하였다.
• 재컴파일 없이도 구성 기반의 모듈러 설계 덕분에 다양한 알고리즘 조합의 프로토타이핑과 테스트가 빠르게 가능하다.
• MESSIF의 M-index를 활용함으로써, 메트릭 공간에서 직접 인덱싱이 불가능한 DTW 기반 접근 방식에 비해 상당한 성능 향상을 달성하였다.
• 음성학적 포스터리오그램을 특징 표현으로 사용함으로써, 자원이 제한된 언어 환경에서도 효과적인 부분수열 매칭이 가능하다.
• TIMIT 및 NIST STD 데이터셋에 대한 초도 평가 결과, DTW 기반 방법과 비교해 유사한 탐지 품질을 확보하면서도, 인덱싱 덕분에 더 빠른 쿼리 처리 성능을 보였다.
• 프레임워크는 말항목 탐지에서 근사 검색의 실현 가능성을 입증하였으며, 대규모 음성 검색 분야에서의 향후 최적화 가능성을 열어 놓았다.