[논문 리뷰] A QP-adaptive Mechanism for CNN-based Filter in Video Coding

Chao Liu, Heming Sun외 3명|arXiv (Cornell University)|2020. 10. 25.

Video Coding and Compression Technologies참고 문헌 21인용 수 4

한 줄 요약

이 논문은 CNN 기반 비디오 인라인 필터의 컨볼루션 커널에 직접적으로 양자화 스텝(Qstep)을 통합함으로써, 단일 모델이 여러 양자화 파arameter(QP)에 걸쳐 일반화할 수 있도록 하는 QP-적응형 메커니즘을 제안한다. 주파수 도메인에서 양자화 노이즈를 모델링하고, Qstep에 따라 적응적으로 스케일링되는 컨볼루션 연산으로 변형함으로써, 각 QP에 특화된 모델 여러 개와 유사한 성능을 달성하면서도 파rameter 수를 75% 감소시키고, 크로마 성분에서 추가로 0.2%의 BD-rate 향상을 이룬다.

ABSTRACT

Convolutional neural network (CNN)-based filters have achieved great success in video coding. However, in most previous works, individual models are needed for each quantization parameter (QP) band. This paper presents a generic method to help an arbitrary CNN-filter handle different quantization noise. We model the quantization noise problem and implement a feasible solution on CNN, which introduces the quantization step (Qstep) into the convolution. When the quantization noise increases, the ability of the CNN-filter to suppress noise improves accordingly. This method can be used directly to replace the (vanilla) convolution layer in any existing CNN-filters. By using only 25% of the parameters, the proposed method achieves better performance than using multiple models with VTM-6.3 anchor. Besides, an additional BD-rate reduction of 0.2% is achieved by our proposed method for chroma components.

연구 동기 및 목표

• 기존의 CNN 기반 인라인 필터가 각 QP 밴드에 대해 별도의 모델이 필요하여 저장 및 계산 비용이 높은 데서 비롯되는 한계를 해결하기 위해.
• 각 QP에 맞게 재학습하지 않고도 다양한 양자화 노이즈 수준에서 일반화 능력을 향상시키기 위해.
• 양자화 스텝(Qstep)을 컨볼루션 연산 내에서 학습 가능한 입력 요소로 활용하여, 다양한 왜곡 수준에 대한 적응성을 향상시키기 위해.
• 디코딩 복잡도의 증가를 최소화하면서도 높은 성능을 유지하여 실용적 구현이 가능하도록 하기 위해.
• 처음 레이어에서만 QP 맵을 사용하는 기존의 QP-적응형 방법에 비해, Qstep을 모든 컨볼루션 레이어에 통합함으로써 성능을 향상시키기 위해.

제안 방법

• 양자화 노이즈를 주파수 도메인에서 모델링하며, QP가 증가할수록 노이즈 에너지가 증가함을 수식화하고, Qstep을 통합한 컨볼루션 커널을 제안하여 노이즈 억제를 적응적으로 수행한다.
• 표준 컨볼루션 연산을 개선하여, 학습된 스케일링 인자로 Qstep을 커널 가중치에 통합함으로써 QP에 따라 동적으로 노이즈 억제가 가능하도록 한다.
• 핵심 수식은 Qstep을 곱하는 요소로 포함한 컨볼루션으로, $ \hat{\bm{x}} = \bm{w}(Q_{\text{step}}) \ast \bm{y} $ 로 표현되며, 여기서 커널 $ \bm{w} $ 는 Qstep에 따라 조건화된다.
• 이 메커니즘은 첫 번째 레이어를 제외한 모든 컨볼루션 레이어에 적용되어 Qstep 영향이 네트워크 전반에 걸쳐 전파되며, 강건성을 향상시킨다.
• 이 방법은 플러그 앤 플레이 방식으로, 기존의 어떤 CNN 필터에도 아키텍처 변경 없이 표준 컨볼루션 레이어를 대체할 수 있다.
• 본 방법은 VTM-6.3 앵커를 사용하여 검증되었으며, 라이트 성분만으로 학습하고, 라이트 및 크로마 성분 모두에서 평가되었다.

실험 결과

연구 질문

• RQ1 재학습 없이도 단일 CNN 기반 인라인 필터가 여러 QP 값에 걸쳐 효과적으로 일반화될 수 있는가?
• RQ2 Qstep 정보를 어떻게 컨볼루션 연산에 효과적으로 통합하여 다양한 QP 수준에서의 노이즈 억제 성능을 향상시킬 수 있는가?
• RQ3 처음 레이어에서 QP 맵을 입력으로 사용하는 것과 비교해, 컨볼루션 커널에 Qstep을 통합하는 것이 성능 향상에 기여하는가?
• RQ4 통합된 QP-적응형 모델을 사용할 경우, 모델 복잡도, 파라미터 수, 비트레이트-왜곡 성능 간의 상충 관계는 어떠한가?
• RQ5 다양한 QP에 특화된 모델들과 유사한 성능을 달성하면서도 파라미터 수와 복잡도를 줄일 수 있는가?

주요 결과

• 제안된 방법은 각 QP 밴드에 대해 별도의 모델을 사용하는 것에 비해 파라미터 수를 75% 감소시키면서도, 유사한 BD-rate 성능을 달성한다.
• 라인트 성분만으로 학습한 상태에서 크로마 성분에서 추가로 0.2%의 BD-rate 감소를 달성하여, 일반화 능력이 뛰어나다는 것을 입증한다.
• 모든 QP 값에서 높은 성능가 유지되며, 낮은 QP에서의 성능 저하가 거의 없어, 별도의 모델가 QP 범위 외부에서 성능이 떨어지는 것과 대비된다.
• 특히 낮은 QP(예: QP=22)에서 QP 맵 입력 방법(Song 등 [20])보다 강건성이 뛰어나며, 후자는 부정적인 성능 향상을 보였다.
• 전체 방법 대비 디코딩 복잡도 증가율은 약 2%에 불과하여 실용적 구현에 있어 최소한의 오버헤드를 유발한다.
• 다양한 복잡도의 네 가지 다른 CNN 필터 아키텍처에서 뛰어난 성능 유지를 보이며, 이는 유연성과 일반화 능력을 입증한다.