[논문 리뷰] Speex: A Free Codec For Free Speech

Jean-Marc Valin|arXiv (Cornell University)|2016. 02. 28.

Advanced Data Compression Techniques참고 문헌 6인용 수 53

한 줄 요약

Speex는 CELP 알고리즘에 기반한 오픈소스이자 특허가 없는 음성 코덱으로, 신뢰성 없는 네트워크를 통해 저지연, 고성능의 음성 IP(VoIP) 통신을 위해 설계되었다. 가변 비트레이트 인코딩, 임bedded narrowband/wideband 코딩을 지원하며, 노이즈 제거 및 음향 에코 제거와 같은 고급 기능을 포함하여 유사 비트레이트에서 전문 코덱과 비교해도 우수한 품질을 제공한다.

ABSTRACT

The Speex project has been started in 2002 to address the need for a free, open-source speech codec. Speex is based on the Code Excited Linear Prediction (CELP) algorithm and, unlike the previously existing Vorbis codec, is optimised for transmitting speech for low latency communication over an unreliable packet network. This paper presents an overview of Speex, the technology involved in it and how it can be used in applications. The most recent developments in Speex, such as the fixed-point port, acoustic echo cancellation and noise suppression are also addressed.

연구 동기 및 목표

• 오픈소스 VoIP 및 통신 응용 프로그램에서 사용 가능한 소프트웨어 특허 제약이 없는 무료, 오픈소스 음성 코덱 개발.
• 리눅스 및 기타 오픈소스 운영 체제에서 실시간, 저지연 통신에 적합한 특허가 없는 음성 코덱의 부족을 보완.
• 패킷 손실에 강건하고 가변 비트레이트를 지원하며 narrowband 및 wideband 음성 모두와의 호환성을 갖춘 VoIP에 최적화된 코덱 제공.
• 기본 코딩을 초월해 음향 에코 제거 및 노이즈 제거와 같은 신호 처리 도구를 통합하여 종단 간 VoIP 응용 프로그램 개발을 지원.
• 리소스가 제한된 장치에서의 활용을 넓히기 위해 고정점 구현을 제공함으로써 임베디드 시스템에 대한 배포 가능성을 확보.

제안 방법

• Speex는 핵심 코딩 기법으로 알제브라적 코드북과 피치 예측을 사용하는 코드 응답 선형 예측(CELP) 알고리즘을 적용한다.
• 20ms 프레임과 10ms의 미리보기 버퍼링을 사용하여 알고리즘 지연을 최소화하여 실시간 통신에 적합한 저지연 성능을 확보한다.
• 음성 활동 검출(VAD)을 통합한 가변 비트레이트(VBR) 인코딩을 구현하여 음성 활동에 따라 비트를 동적으로 할당함으로써 압축 효율을 향상시킨다.
• 임베디드 코딩을 통해 단일 비트스트림 내에서 narrowband(8 kHz)와 wideband(16 kHz) 모드 간의 역호환성을 보장한다.
• 마이크로폰 및 스피커 신호를 대상으로 작동하는 다중지연 블록 주파수(MDF) 알고리즘 기반의 음향 에코 제거기(AEC)를 라이브러리에 통합하여 허브리스 통신에서의 에코 억제를 지원한다.
• 노이즈 제거는 후처리 단계로 구현되어 배경 노이즈를 감소시키며, 비선형 왜곡 문제를 방지하기 위해 에코 제거 이후에 적용되어야 한다는 조건이 있다.

실험 결과

연구 질문

• RQ1 특허가 부과된 기법을 회피하면서도 전문 코덱과 유사한 성능을 달성할 수 있는 무료, 오픈소스 음성 코덱의 설계 방법은 무엇인가?
• RQ2 제한된 컴퓨팅 자원을 갖춘 시스템에서 VoIP에 적합한 저지연, 실시간 성능을 확보하기 위해 필요한 설계 선택은 무엇인가?
• RQ3 프레임 간 재dundancy나 독립적 프레임 코딩에 의존하지 않고도 패킷 손실에 강건한 음성 코덱을 어떻게 달성할 수 있는가?
• RQ4 가벼운 포터블 라이브러리에 음향 에코 제거 및 노이즈 제거와 같은 고급 신호 처리 기능을 통합하는 데 발생하는 실용적 과제는 무엇인가?
• RQ5 음질이나 실시간 성능을 희생시키지 않고 Speex를 고정점 아키텍처에 효과적으로 포팅하는 방법은 무엇인가?

주요 결과

• CELP과 같은 특허 기반 기법을 회피함에도 불구하고, G.729 및 AMR와 같은 전문 코덱과 유사한 비트레이트에서 Speex는 유사한 음성 품질을 달성한다.
• 2 kbps에서 44 kbps까지 광범위한 비트레이트를 지원하며, 동적 비트레이트 전환과 VBR 지원 기능을 통해 다양한 네트워크 조건에서 대역폭을 효율적으로 활용할 수 있다.
• 임베디드 비트스트림 설계가 성공적으로 narrowband 및 wideband 음성 간의 원활한 상호운용성을 실현하여, 고전적 전화 시스템과 현대적인 wideband VoIP 응용 프로그램 간의 상호 운용성을 보장한다.
• 고정점 구현을 통해 플로ating-point 유닛이 없는 임베디드 장치에 배포가 가능해져 저전력 및 자원 제약이 있는 환경에서의 활용 범위가 확장된다.
• MDF 알고리즘 기반의 통합 음향 에코 제거기는 신호 타이밍과 하드웨어 동기화가 적절히 유지되는 한 실생활 VoIP 응용 프로그램에서 실용적인 효과를 보였다.
• 신호 처리 순서가 매우 중요하다: 에코 제거 이전에 노이즈 제거 또는 AGC를 적용할 경우 비선형 왜곡이 발생하여 선형 AEC가 이를 복구할 수 없어 성능이 열 劣화된다.