[논문 리뷰] A practical convolutional neural network as loop filter for intra frame

Xiaodan Song, Jiabao Yao외 5명|arXiv (Cornell University)|2018. 05. 16.

Advanced Vision and Imaging참고 문헌 7인용 수 8

한 줄 요약

이 논문은 양자화 파aram터(QP)에 의존하지 않는 단일 컨볼루션 신경망(CNN) 루프 필터를 제안하며, 인tra 프레임 영상 코딩에 적용 가능한 통합형 접근 방식을 제공한다. 이는 QP와 재구성 결과를 입력으로 받아 다양한 품질 수준에서 일반화된 응용이 가능하도록 설계되었다. 모델 압축과 동적 고정점(DFP) 추론을 조합함으로써 플랫폼 간 일관성을 확보하면서도 중복을 줄여, JEM 7.0 대비 전용 인tra 설정에서 라마 성분에서 3.14%, 크로마 성분에서 각각 5.21% 및 6.28%의 BD-레이트 절감을 달성한다.

ABSTRACT

Loop filters are used in video coding to remove artifacts or improve performance. Recent advances in deploying convolutional neural network (CNN) to replace traditional loop filters show large gains but with problems for practical application. First, different model is used for frames encoded with different quantization parameter (QP), respectively. It is expensive for hardware. Second, float points operation in CNN leads to inconsistency between encoding and decoding across different platforms. Third, redundancy within CNN model consumes precious computational resources. This paper proposes a CNN as the loop filter for intra frames and proposes a scheme to solve the above problems. It aims to design a single CNN model with low redundancy to adapt to decoded frames with different qualities and ensure consistency. To adapt to reconstructions with different qualities, both reconstruction and QP are taken as inputs. After training, the obtained model is compressed to reduce redundancy. To ensure consistency, dynamic fixed points (DFP) are adopted in testing CNN. Parameters in the compressed model are first quantized to DFP and then used for inference of CNN. Outputs of each layer in CNN are computed by DFP operations. Experimental results on JEM 7.0 report 3.14%, 5.21%, 6.28% BD-rate savings for luma and two chroma components with all intra configuration when replacing all traditional filters.

연구 동기 및 목표

• 기존의 CNN 기반 루프 필터가 각 QP 수준에 맞는 별도의 모델이 필요하여 하드웨어 비용이 높은 문제를 해결하기 위해.
• CNN에서 부동소수점 연산으로 인한 추론 시 플랫폼 간 불일치 문제를 해결하기 위해.
• 구조적 압축과 양자화를 통해 모델 중복성과 계산 비용을 감소시키기 위해.
• 다양한 QP 수준과 재구성 품질에서 일반화 가능한 단일 강건한 CNN 필터를 개발하기 위해.
• 동적 고정점(DFP) 추론을 통해 다양한 하드웨어 플랫폼 간 일관된 인코딩-디코딩 동작을 보장하기 위해.

제안 방법

• 잔차 구조를 가진 CNN이 재구성된 인tra 프레임과 QP 값 모두를 입력으로 받아, 하나의 모델로 여러 QP 수준을 처리할 수 있도록 설계된다.
• 모델 압축은 두 단계로 수행된다: (1) 배치 정규화 스케일 파라미터에 대한 L1 정규화를 통해 훈련 중 필터를 제거하고, (2) 저랭크 근사와 함께 미세조정을 통해 추가로 파rameter 중복을 줄인다.
• 압축 후 모델 가중치는 동적 고정점(DFP) 형식으로 양자화되어 CPU 및 GPU 플랫폼 간 일관된 추론을 보장한다.
• 추론 과정에서 모든 레이어 출력은 DFP 산술을 사용해 계산되며, 이후 복원되어 최종 필터링 출력이 생성된다.
• 전체 파ip라인은 엔드 투 엔드로 훈련 및 최적화되며, 양자화 후 성능 손실 복구를 위해 미세조정이 수행된다.
• 모델은 JEM 7.0을 기준으로 전용 인tra 및 랜덤 액세스 설정에서 평가되었으며, 주요 평가 지표로 BD-레이트를 사용하였다.

실험 결과

연구 질문

• RQ1 단일 CNN 모델이 인tra 프레임 영상 코딩에서 다수의 QP 전용 루프 필터를 효과적으로 대체할 수 있는가?
• RQ2 코딩 효율성을 손상시키지 않으면서 모델 중복성을 어떻게 줄일 수 있는가?
• RQ3 동적 고정점 추론이 다양한 하드웨어 플랫폼 간 일관된 결과를 보장할 수 있는가?
• RQ4 JEM 7.0의 기존 필터 대비 QP에 의존하지 않는 CNN 루프 필터의 성능 향상은 어느 정도인가?
• RQ5 제안된 방법은 계산 및 저장 오버헤드를 줄이면서도 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 CNNF는 전용 인tra 설정에서 라마 성분에서 3.14%의 BD-레이트 감소를 달성했으며, 크로마 성분에서는 각각 5.21% 및 6.28%의 절감을 기록하여 최고의 QP 전용 모델을 초월했다.
• 단일 훈련된 네트워크로 모든 테스트 QP 수준(22–37)에서 일관된 성능을 확보하여 별도의 QP 전용 모델이 필요 없어졌다.
• GPU 가속을 통해 인코딩 시간은 JEM 7.0의 93%로 단축되었으며, 디코딩 시간은 기준 대비 157% 수준으로 관리 가능하여 실용적 구현 가능성을 입증했다.
• CPU 환경에서는 디코딩 시간이 크게 증가했으며(클래스E 기준 최대 15,360%), 향후 하드웨어 가속이 적용되면 개선될 것으로 기대된다.
• 필터 프루닝과 저랭크 근사를 조합함으로써 모델 중복성이 감소하여 효율적인 배포가 가능해졌다.
• 주관적 품질 향상은 특히 에지 영역에서 두드러지게 나타나 시각적 정밀도 향상이 확인되었다.