[논문 리뷰] FAST: Free Adaptive Super-Resolution via Transfer for Compressed Videos.

Zhengdong Zhang, Vivienne Sze|arXiv (Cornell University)|2016. 03. 29.

Advanced Image Processing Techniques참고 문헌 27인용 수 8

한 줄 요약

FAST는 압축 동영상에 대한 초해상도를 가속화하기 위해 비디오 스트림에 이미 존재하는 운동 벡터와 잔차 데이터를 사용하여 한 프레임에서 얻은 고품질 결과를 이웃 프레임으로 적응적으로 전달함으로써 작동한다. 이 방법은 최대 10배의 속도 향상을 이끌어내며 품질 손실이 0.2 dB 이내이므로 대규모 디스플레이에서 실시간 초해상도를 구현할 수 있다.

ABSTRACT

High resolution displays are increasingly popular, requiring most of the existing video content to be adapted to higher resolution. State-of-the-art super-resolution algorithms mainly address the visual quality of the output instead of real-time throughput. This paper introduces FAST, a framework to accelerate any image based super-resolution algorithm running on compressed videos. FAST leverages the similarity between adjacent frames in a video. Given the output of a super-resolution algorithm on one frame, the technique adaptively transfers it to the adjacent frames and skips running the super-resolution algorithm. The transferring process has negligible computation cost because the required information, including motion vectors, block size, and prediction residual, are embedded in the compressed video for free. In this work, we show that FAST accelerates state-of-the-art super-resolution algorithms by up to an order of magnitude with acceptable quality loss of up to 0.2 dB. Thus, we believe that the FAST framework is an important step towards enabling real-time super-resolution algorithms that upsample streamed videos for large displays.

연구 동기 및 목표

• 압축 동영상 스트림에 적용할 때 최신 초해상도 알고리즘의 실시간 성능 부족 문제를 해결하기 위해.
• 시각적 품질을 훼손하지 않고 초해상도 처리의 계산 오버헤드를 줄이기 위해.
• 기존의 압축 동영상 데이터—예를 들어 운동 벡터와 예측 잔차—를 활용하여 효율적인 프레임 간 전달을 실현하기 위해.
• 기존 비디오 코덱을 활용하여 고해상도 디스플레이에 대해 확장 가능하고 실시간 초해상도를 가능하게 하기 위해.
• 전달을 통한 프레임 재사용이 초해상도의 가속화에 상당한 기여를 하며, 수용 가능한 인지적 품질을 유지할 수 있음을 입증하기 위해.

제안 방법

• 프레임워크는 이미 압축된 동영상 비트스트림에 내장된 핵심 정보인 운동 벡터, 블록 크기, 예측 잔차를 식별한다.
• 기준 프레임에서의 초해상도 출력을 재사용하고, 운동 보정을 통해 이웃 프레임으로 전달한다.
• 운동 복잡도와 잔차 에너지에 기반하여 품질 저하를 최소화하는 방식으로 전달 과정이 적응형으로 작동한다.
• 대부분의 프레임에서 전체 초해상도 알고리즘을 실행하지 않고도 이전 결과의 운동 보정된 재사용에 의존함으로써 처리를 생략한다.
• 속도와 품질의 균형을 유지하기 위해 동적으로 전달 전략을 조정하여 최소한의 시각적 아티팩트를 보장한다.
• 기존의 어떤 이미지 기반 초해상도 모델과도 호환되며, 재학습이나 수정이 필요하지 않다.

실험 결과

연구 질문

• RQ1 운동 보정된 전달을 통한 프레임 재사용이 압축 동영상 스트림에서 초해상도를 상당히 가속화할 수 있는가?
• RQ2 재인코딩 없이 기존의 압축 동영상 데이터를 사용할 때 얻을 수 있는 최대 속도 향상은 얼마인가?
• RQ3 프레임 간 초해상도 결과 전달 시 품질 저하 정도는 어느 정도인가?
• RQ4 전달 방법이 고해상도 디스플레이에서 실시간 성능을 달성하면서도 인지적 품질을 유지할 수 있는가?
• RQ5 계산 자원 절감과 시각적 정확성 간 최적의 트레이드오프를 결정짓는 요소는 무엇인가?

주요 결과

• FAST는 압축 동영상의 초해상도 처리에서 결과 재사용을 통해 최대 10배의 속도 향상을 달성한다.
• 프레임 전달로 인한 품질 손실는 최대 0.2 dB 이내의 PSNR 손실로 매우 미미하며, 실시간 응용에 있어 수용 가능한 수준이다.
• 추가 계산 자원이 거의 필요 없으며, 이미 압축 비트스트림에 존재하는 운동 벡터와 잔차를 활용한다.
• 기존의 어떤 이미지 기반 초해상도 모델과도 호환되어 광범위하게 적용 가능하다.
• 전달 과정은 운동 복잡도와 잔차 에너지에 따라 적응적으로 조정되어 시각적 품질을 유지한다.
• 고해상도 디스플레이에서 실시간 초해상도를 가능하게 하여 비디오 업스케일링의 핵심 장애 요소를 해결한다.