[논문 리뷰] Depth-Aware Video Frame Interpolation

Bao, Wenbo, Lai, Wei-Sheng외 4명|arXiv (Cornell University)|2019. 04. 01.

Advanced Vision and Imaging참고 문헌 39인용 수 4

한 줄 요약

이 논문은 깊이 맵을 활용하여 음영을 명시적으로 탐지하고 프레임 간섭질 품질을 향상시키는 깊이 인식 영상 프레임 간섭질(DAIN)을 제안한다. 유동성 흐름 집합 과정에서 더 가까운 물체를 우선시하는 깊이 인식 유동 투영층을 도입하고, 광학적 유동, 국소 간섭질 커널, 학습 가능한 계층적 특징을 결합함으로써, 컴act하고 효율적이며 완전히 미분 가능한 아키텍처를 통해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper explores how recent convolutional neural network (CNN)-based techniques can be used to interpolate images inside scientific image databases. These databases are frequently used for the interactive visualization of large-scale simulations, where images correspond to samples of the parameter space (e.g., timesteps, isovalues, thresholds, etc.) and the visualization space (e.g., camera locations, clipping planes, etc.). These databases can be browsed post hoc along the sampling axis to emulate real-time interaction with large-scale datasets. However, the resulting databases are limited to their contained images, i.e., the sampling points. In this paper, we explore how efficiently and accurately CNN-based techniques can derive new images by interpolating database elements. We demonstrate on several real-world examples that the size of databases can be further reduced by dropping samples that can be interpolated post hoc with an acceptable error, which we measure qualitatively and quantitatively.

연구 동기 및 목표

• 큰 운동량과 음영으로 인한 블러 및 잡음 문제를 해결하기 위해 영상 프레임 간섭질의 과제를 해결한다.
• 큰 모델에 의존하는 암묵적 추론에만 의존하지 않고, 깊이 정보를 명시적으로 활용하여 음영을 탐지함으로써 간섭질 품질을 향상시킨다.
• 광학적 유동, 깊이, 맥락적 특징을 통합한 컴act하고 효율적이며 완전히 미분 가능한 모델을 개발하여 고품질의 프레임 합성 가능하게 한다.
• 예측 가능한 중간 프레임을 날카로운 선과 명확한 물체 경계로 생성함으로써 고해상도의 슬로우모션 영상 생성을 가능하게 한다.

제안 방법

• 깊이 값에 따라 유동 벡터를 집계하는 깊이 인식 유동 투영층을 제안하여, 더 가까운 물체를 더 우선시함으로써 운동 경계의 명료성을 향상시킨다.
• 공유된 인코더-디코더 아키텍처를 사용하여 입력 프레임에서 이중 방향 광학적 유동과 깊이 맵을 추정한다.
• ResNet과 같은 사전 훈련된 분류 네트워크에 의존하지 않고도 넓은 수신장에서 계층적 특징을 학습한다.
• 추정된 유동과 국소 간섭질 커널을 사용하여 입력 프레임, 깊이 맵, 맥락적 특징에 대해 적응형 왜곡을 적용한다.
• 왜곡된 특징과 유동 집합 표현에 대해 잔차 학습을 통해 최종 간섭질 프레임을 합성한다.
• 컴act하고 종단 간 훈련이 가능한 네트워크를 사용하여 완전히 미분 가능하며 추론 효율성 최적화를 위해 설계된다.

실험 결과

연구 질문

• RQ1 깊이 정보는 영상 프레임 간섭질에서 음영 탐지에 효과적으로 활용될 수 있는가?
• RQ2 기본적인 유동 평균화 방식과 비교해 깊이 인식 유동 집합 메커니즘이 더 날카로운 운동 경계와 더 적은 잡음 요소를 제공하는가?
• RQ3 모델 복잡도 증가 없이도 학습 가능한 계층적 특징 추출 전략이 사전 훈련된 특징보다 성능이 뛰어나게 할 수 있는가?
• RQ4 다양한 데이터셋에서 최신 기술 수준의 접근 방식과 비교해 성능 및 효율성 측면에서 제안된 방법은 어떠한가?
• RQ5 모델의 컴팩트성과 추론 속도는 실용적 구현에 있어 어떤 정도의 영향을 미치는가?

주요 결과

• DAIN은 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, Vimeo90K 데이터셋에서 MEMC-Net 대비 0.42 dB의 PSNR 향상을 기록했다.
• MEMC-Net 대비 69% 적은 파라미터를 사용하면서도 유사한 추론 속도를 유지하여 높은 효율성과 컴팩트함을 입증했다.
• 시각적 비교 결과 DAIN은 더 날카로운 선과 더 잘 정렬된 콘텐츠(예: 기둥, 얼굴 특징)를 생성하며, 더 적은 가시성 잡음과 블러링을 보였다.
• 깊이 인식 유동 투영층은 유동 집합 과정에서 더 가까운 물체를 우선시함으로써 운동 경계의 명료성을 크게 향상시켰다.
• 보조 결과를 통해 DAIN은 10배 슬로우모션 영상 생성에 적합한 고품질의 중간 프레임을 생성함을 입증했다.
• 깊이 맵의 추정 품질이 떨어지면 결과가 블러어질 수 있으나, 이는 깊이 품질에 민감함을 시사하지만, 여전히 ToFlow를 능가하는 성능을 보였다.