[논문 리뷰] High-Quality, Low-Delay Music Coding in the Opus Codec

Jean-Marc Valin, Gregory Maxwell외 2명|arXiv (Cornell University)|2016. 02. 15.

Advanced Data Compression Techniques참고 문헌 5인용 수 14

한 줄 요약

이 논문은 심리청각 모델을 제약 에너지 락드 변환(CELT) 프레임워크에 통합함으로써 고음질, 저지연 음악 코딩을 실현한 Opus 코덱의 CELT 모드를 제시한다. 비트 할당 최적화, 청각적 전처리/후처리 필터 적용, 충돌 방지와 같은 아티팩트 은폐 기법을 통해 Opus는 64 kb/s에서 Vorbis 및 HE-AAC와 같은 비실시간 코덱을 뛰어넘으며, 연속 압축 조건에서도 성능을 유감없이 유지한다.

ABSTRACT

The IETF recently standardized the Opus codec as RFC6716. Opus targets a wide range of real-time Internet applications by combining a linear prediction coder with a transform coder. We describe the transform coder, with particular attention to the psychoacoustic knowledge built into the format. The result out-performs existing audio codecs that do not operate under real-time constraints.

연구 동기 및 목표

• 실시간 음악 전송에 적합한 저지연, 고품질 오디오 코덱을 개발하기 위해.
• 심리청각 지식을 직접 코딩 포맷에 통합하여 불필요한 코딩과 아티팩트를 줄이기 위해.
• 음성 및 음악 모드 간의 전환을 최소한의 불일치 없이 원활하게 가능하게 하기 위해.
• 방송 파이프라인에서 흔히 발생하는 연속 압축 환경에서의 강건성 향상을 위해.
• 초저지연(<5 ms)을 유지하면서도 Vorbis 및 HE-AAC와 같은 고지연 코덱과 경쟁 가능한 성능을 달성하기 위해.

제안 방법

• MDCT 기반의 제약 에너지 락드 변환(CELT)을 사용하며, 2.5 ms의 낮은 겹침을 통해 저알고리즘 지연을 달성한다.
• 저주파 에너지로 인한 스펙트럼 누설을 줄이기 위해 1차 전처리 강화 필터(1 - 0.85z⁻¹)를 적용하고, 디코더에서 역으로 탈강화 처리를 수행한다.
• 인간 청각 막힘 특성을 고려해 코딩 노이즈의 분포를 조절하기 위해 청각적 전처리 및 후처리 필터를 적용한다.
• 밴드별로 양자화 노이즈가 균일하게 분포되도록 MDCT 계수에 스며임 회전을 적용하며, 각도는 밴드 크기와 펄스 수에 따라 유도된다.
• 과도기 발생 시 양자화 계수 값이 0인 밴드에 가짜 난수를 주입함으로써 충돌 방지를 구현하며, 이 기능은 연속으로 두 번 이상 과도기가 발생한 후에만 활성화된다.
• TOC 바이트와 내부 프레임 구조를 통해 동적 구성 신호를 전달함으로써, 아티팩트 없이 실시간으로 모드 전환을 가능하게 한다.

실험 결과

연구 질문

• RQ1 저지연 오디오 코덱이 Vorbis 및 HE-AAC와 같은 고지연 코덱 수준의 음악 품질을 달성할 수 있는가?
• RQ2 청각 모델을 직접 코딩 포맷에 통합함으로써 사이드 인포메이션과 코딩 아티팩트를 줄일 수 있는가?
• RQ3 저비트레이트에서 과도기 동안 양자화 손실을 효과적으로 은폐할 수 있는 기법은 무엇인가?
• RQ4 방송 시스템에서 흔히 발생하는 연속 압축 조건에서 코덱의 성능은 어떠한가?
• RQ5 음성 및 음악 모드 간의 전환을 청각적 불일치 없이 실현할 수 있는가?

주요 결과

• 64 kb/s VBR에서 주관적 청취 테스트 결과, Opus는 Apple의 HE-AAC, Nero의 HE-AAC, Ogg Vorbis를 99.9% 이상의 신뢰수준으로 뛰어넘었다.
• Opus는 64 kb/s에서 연속 압축 조건에서 128 kb/s MP3보다도 뛰어난 품질을 달성하여, 다중 압축 단계에서의 강건성이 뛰어나다는 것을 입증했다.
• 충돌 방지 기법은 32 kb/s에서 캐스터네트 테스트를 통해 저비트레이트에서 청각적으로 드러나는 손실을 효과적으로 제거함을 입증했다.
• 5 ms 프레임 모드는 20 ms 프레임 대비 성능이 낮지만, 여전히 수용 가능한 품질을 유지하며, 다섯 번의 연속 압축 이후에도 MP3(128 kb/s)를 뛰어넘는 성능을 보였다.
• 청각적 전처리/후처리 필터와 스며임 회전 기법의 적용은 노이즈 분포를 향상시키고 스펙트럼 막힘 아티팩트를 감소시켰다.