[논문 리뷰] AIM 2020 Challenge on Rendering Realistic Bokeh

Andrey Ignatov, Radu Timofte외 33명|arXiv (Cornell University)|2020. 11. 10.

Advanced Image Processing Techniques참고 문헌 37인용 수 6

한 줄 요약

이 논문은 5,000개의 얕은 및 넓은 조리개 설정 이미지 쌍으로 구성된 대규모 EBB! 데이터셋을 사용하여 단일 이미지에서 고품질 블러 효과를 생성하기 위한 딥러닝 모델을 평가하는 AIM 2020 챌린트를 제시한다. 챌린트는 시각적 품질과 추론 효율성 양면에서 평가하였으며, 수정된 U-Net, 동적 필터링, 웨이블릿 기반 CNN 등의 아키텍처를 활용한 최상위 솔루션들이 데스크톱 CPU와 스마트폰 GPU에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

This paper reviews the second AIM realistic bokeh effect rendering challenge and provides the description of the proposed solutions and results. The participating teams were solving a real-world bokeh simulation problem, where the goal was to learn a realistic shallow focus technique using a large-scale EBB! bokeh dataset consisting of 5K shallow / wide depth-of-field image pairs captured using the Canon 7D DSLR camera. The participants had to render bokeh effect based on only one single frame without any additional data from other cameras or sensors. The target metric used in this challenge combined the runtime and the perceptual quality of the solutions measured in the user study. To ensure the efficiency of the submitted models, we measured their runtime on standard desktop CPUs as well as were running the models on smartphone GPUs. The proposed solutions significantly improved the baseline results, defining the state-of-the-art for practical bokeh effect rendering problem.

연구 동기 및 목표

• 실세계 데이터를 활용하여 예제 기반 단일 이미지 블러 렌더링 기술의 최신 기술 수준을 향상시키기 위해.
• 소비자 하드웨어에 배포 가능한 모델의 성능 평가를 위해 시각적 품질뿐 아니라 런타임 효율성까지 평가하기 위해.
• DSLR 카메라로 촬영한 대규모 실세계 데이터셋을 활용하여 현실적인 블러 렌더링의 기준을 설정하기 위해.
• 데스크톱 CPU와 모바일 GPU 모두에 적합한 효율적인 모델 설계를 촉진하기 위해.
• 종합적인 블러 품질 평가를 위해 사용자 연구 점수(MOS)를 정량적 지표(PSNR, SSIM)와 융합하기 위해.

제안 방법

• 캐논 70D DSLR로 촬영한 5,000개의 실세계 얕은 및 넓은 조리개 설정 이미지 쌍으로 구성된 대규모 EBB! 데이터셋을 활용하였다.
• 이미지 쌍을 SIFT와 RANSAC를 사용해 정렬한 후, 1024px 높이로 자르고 다운샘플링하였다.
• 두 가지 챌린지 트랙을 제안: 하나는 데스크톱 CPU 최적화, 다른 하나는 스마트폰 GPU에서 TensorFlow Lite 호환 추론 최적화.
• PSNR, SSIM, 추론 런타임, 사용자 연구 MOS 점수를 통합한 다중 척도 평가 프레임워크를 구현하였다.
• 수정된 U-Net, 동적 필터링 네트워크, 웨이블릿 CNN, 채널 주의 메커니즘을 통합한 잔차 네트워크 등 다양한 딥러닝 아키텍처를 구현하였다.
• 모서리 유지 및 시각적 품질 향상을 위해 평균 절대 오차와 샤르보니에 손실 함수를 사용해 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 추가 센서 데이터 없이 딥러닝 모델이 단일 입력 이미지에서 현실적인 블러 효과를 어떻게 생성할 수 있는가?
• RQ2 블러 렌더링 모델에서 시각적 품질과 추론 효율성 사이의 상호 상충 관계는 어떠한가?
• RQ3 CPU 및 모바일 GPU 플랫폼에서 시각적 정확도와 런타임 성능의 균형을 가장 잘 달성하는 신경망 아키텍처는 무엇인가?
• RQ4 사용자 인식 점수(MOS)는 PSNR 및 SSIM과 같은 정량적 지표와 얼마나 관련이 있는가?
• RQ5 실세계 데이터에서 훈련된 효율적이고 경량화된 모델이 실질적인 배포 환경에서 기존 베이스라인을 능가할 수 있는가?

주요 결과

• 최상위 성능을 낸 모델들은 시각적 품질과 추론 효율성 양면에서 기존 기준 모델을 크게 뛰어넘었다.
• 스마트폰 GPU 트랙의 솔루션들은 모바일 기기에서 실시간 추론을 달성하여 현장에서의 블러 렌더링 가능성을 입증하였다.
• 동적 필터링과 다중 척도 컨텍스트 집약 기법이 블러 효과의 현실감과 선명도를 향상시켰다.
• 스트라이드 컨벌루션과 스킵 연결을 통합한 수정된 U-Net 아키텍처 기반 모델들이 계산 비용을 줄이며 우수한 성능을 달성하였다.
• 사용자 연구 MOS 점수는 SSIM 및 PSNR와 양호한 상관관계를 보였으며, 이는 이러한 지표들이 블러 품질 평가에 적합하다는 것을 검증하였다.
• EBB! 데이터셋은 다양한 조명 조건과 날씨 조건을 포함한 실세계 환경에 일반화된 모델 훈련에 효과적임을 입증하였다.