[논문 리뷰] Minimum-latency Time-frequency Analysis Using Asymmetric Window Functions

Li Su, Hau‐Tieng Wu|arXiv (Cornell University)|2016. 06. 29.

Music and Audio Processing참고 문헌 38인용 수 5

한 줄 요약

이 논문은 대칭 윈도우에서 비대칭 최소단위 위너를 체계적으로 구성하는 방법을 제안하여 시간-주파수 분석에서 내재된 지연을 최소화한다. 특히 실시간 응용 분야에서 유의미하다. 이론적으로 이러한 윈도우를 사용한 동기분해 시간-주파수 변환(SST)이 전통적 방법보다 낮은 지연을 달성함을 증명하였으며, 실험 결과 음악 온셋 검출에서 최대 40%의 지연 감소를 기록했으며 성능은 유지 또는 향상되었다.

ABSTRACT

We study the real-time dynamics retrieval from a time series via the time-frequency (TF) analysis with the minimal latency guarantee. While different from the well-known intrinsic latency definition in the filter design, a rigorous definition of intrinsic latency for different time-frequency representations (TFR) is provided, including the short time Fourier transform (STFT), synchrosqeezing transform (SST) and reassignment method (RM). To achieve the minimal latency, a systematic method is proposed to construct an asymmetric window from a well-designed symmetric one based on the concept of minimum-phase, if the window satisfies some weak conditions. We theoretically show that the TFR determined by SST with the constructed asymmetric window does have a smaller intrinsic latency. Finally, the music onset detection problem is studied to show the strength of the proposed algorithm.

연구 동기 및 목표

• 시간-주파수 표현(TFR)인 STFT, SST, 재배치 방법 등에서 내재된 지연을 정의하고 체계화하는 것. 이는 필터 설계의 군지연과는 별개이다.
• 특히 비선형 방법인 SST와 재배치 방법에 있어 높은 내재된 지연이 문제가 되는 실시간 TF 분석의 성능 저하 문제를 해결하는 것.
• 최소단위 위너 이론을 활용하여 대칭 윈도우에서 비대칭 윈도우를 체계적으로 구성함으로써 지연을 최소화하는 방법을 개발하는 것.
• 저지연 응용, 특히 음악 온셋 검출에서 제안된 방법의 유효성을 입증하는 것.

제안 방법

• TFR에서 내재된 지연을 엄밀한 정의로 정의함. 이는 입력 신호와 출력 스펙트럼 추정 간의 최소 시간 지연로 정의되며, FIR 필터의 군지연과는 별개이다.
• 크기 스펙트럼을 유지하면서 위상 지연을 최소화하는 최소단위 합성 기반으로 대칭 윈도우에서 비대칭 윈도우로의 변환을 제안한다.
• 약한 조건(예: 음이 아닌 푸리에 변환)을 만족하는 윈도우에 최소단위 변환을 적용함으로써 안정성과 최소 지연을 확보한다.
• SST에서 비대칭 윈도우가 대칭 윈도우보다 엄격히 작은 내재된 지연을 달성할 수 있는 이론적 조건을 유도한다.
• 짧은 윈도우 설정에서 시간-주파수 해상도를 향상시키고 스펙트럼 누설을 줄이기 위해 동기분해 변환(SST)을 적용한다.
• F-스코어를 메트릭으로 사용하여 음악 온셋 검출을 통해 방법을 검증하며, 다양한 지연 수준에서 대칭 윈도우, 비대칭 윈도우, 최소단위 윈도우를 비교한다.

실험 결과

연구 질문

• RQ1 전통적인 FIR 필터 군지연을 초월하여 시간-주파수 표현에 대해 엄밀한 내재된 지연 정의를 수립할 수 있는가?
• RQ2 비대칭 윈도우의 사용이 SST 및 재배치와 같은 비선형 TFR의 내재된 지연에 어떤 영향을 미치는가?
• RQ3 내재된 지연을 최소화하면서 스펙트럼 내용을 유지하는 대칭 윈도우에서 비대칭 윈도우를 체계적으로 구성할 수 있는 방법을 개발할 수 있는가?
• RQ4 온셋 검출 작업에서 내재된 지연, 스펙트럼 누설, 성능 간의 상호 교환 관계는 어떠한가?
• RQ5 SST가 실시간 응용에서 STFT를 능가하는 지연 조건은 무엇인가?

주요 결과

• 제안된 최소단위 비대칭 윈도우 구성 방식은 대칭 윈도우 대비 내재된 지연을 최대 40%까지 감소시키며, $h_{F, extup{MP}}$ 윈도우에서는 13.18 ms 지연에서 최적의 성능을 달성한다.
• 저지연 요구 조건($t^{h}_{l} < 5.6$ ms)에서는 $h_{0.30, extup{MP}}$ 윈도우를 사용한 SST가 STFT를 능가하며, 조밀한 주파수 빈에서의 더 나은 스펙트럼 재배치와 누설 감소로 인해 F-스코어 79.8%를 기록한다.
• $h_{F, extup{MP}}$ 윈도우는 13.18 ms 지연에서 최적의 F-스코어 83.76%를 달성하였으며, 비-MP 버전의 21.95 ms에서 기록한 84.25%에 비해 40%의 지연 감소와 함께 최소한의 성능 손실를 보였다.
• 지연이 주요 제약 조건이 아닌 경우, 스펙트럼 특성, 특히 사이드로브 제거 능력이 더 중요하다. 동일한 내재된 지연를 가진 $h_{B}$ 윈도우는 $h_{F}$ 윈도우보다 낮은 스펙트럼 누설 덕분에 성능이 뛰어나다.
• 초저지연 환경($t^{h}_{l} < 9.4$ ms)에서는 SST가 STFT를 능가한다. 이는 짧은 윈도우에서 주파수 빈의 에너지를 재배치할 수 있어 스펙트럼 누설을 완화하기 때문이다.