[논문 리뷰] Natural & Adversarial Bokeh Rendering via Circle-of-Confusion Predictive Network

Yihao Huang, Felix Juefei-Xu외 3명|arXiv (Cornell University)|2021. 11. 25.

Advanced Image Processing Techniques참고 문헌 50인용 수 4

한 줄 요약

이 논문은 물리 기반 렌더링 모델을 사용하여 모든 초점이 맞춰진 이미지와 깊이 맵에서 원형의 혼탁도(CoC) 매개변수를 예측함으로써 현실적인 블러 효과를 생성하는 하이브리드 딥러닝 프레임워크인 CoCNet을 제안한다. 데이터 기반 학습과 물리적 사전 지식을 결합함으로써 CoCNet은 경량 네트워크를 사용하여 최신 기술 수준의 블러 품질을 달성하며, 동시에 시각적으로 자연스럽게 유지하면서 딥 뉴럴 네트워크 성능을 크게 떨어뜨리는 적대적 블러 공격을 가능하게 한다.

ABSTRACT

Bokeh effect is a natural shallow depth-of-field phenomenon that blurs the out-of-focus part in photography. In recent years, a series of works have proposed automatic and realistic bokeh rendering methods for artistic and aesthetic purposes. They usually employ cutting-edge data-driven deep generative networks with complex training strategies and network architectures. However, these works neglect that the bokeh effect, as a real phenomenon, can inevitably affect the subsequent visual intelligent tasks like recognition, and their data-driven nature prevents them from studying the influence of bokeh-related physical parameters (i.e., depth-of-the-field) on the intelligent tasks. To fill this gap, we study a totally new problem, i.e., natural & adversarial bokeh rendering, which consists of two objectives: rendering realistic and natural bokeh and fooling the visual perception models (i.e., bokeh-based adversarial attack). To this end, beyond the pure data-driven solution, we propose a hybrid alternative by taking the respective advantages of data-driven and physical-aware methods. Specifically, we propose the circle-of-confusion predictive network (CoCNet) by taking the all-in-focus image and depth image as inputs to estimate circle-of-confusion parameters for each pixel, which are employed to render the final image through a well-known physical model of bokeh. With the hybrid solution, our method could achieve more realistic rendering results with the naive training strategy and a much lighter network.

연구 동기 및 목표

• 순수하게 데이터 기반인 블러 렌더링 방법의 물리적 현실성과 해석 가능성 부족 문제를 해결하기 위해.
• 특히 심도 허용 범위와 같은 블러 관련 물리적 매개변수의 영향이 시각 지능 작업에 미치는 영향을 연구하기 위해.
• 데이터 기반 학습과 물리적 사전 지식을 융합한 하이브리드 접근법을 통해 더 제어 가능하고 해석 가능한 블러 생성을 개발하기 위해.
• 심도 변화를 악용하여 딥 뉴럴 네트워크 성능을 떨어뜨리는 적대적 블러 공격을 가능하게 하기 위해.
• 적대적 블러 예제를 데이터 증강 수단으로 활용하여 디포커스 복원과 같은 후속 작업 성능 향상 가능성을 탐색하기 위해.

제안 방법

• CoCNet은 모든 초점이 맞춰진 이미지와 깊이 맵을 입력으로 받아 픽셀 단위의 원형 혼탁도(CoC) 매개변수를 예측한다.
• 경량 아키텍처를 사용하여 물리적 블러를 CoC 기반 필터링으로 시뮬레이션하는 전용 컨볼루션 커널을 예측한다.
• 최종 블러 이미지는 알려진 블러의 물리 모델을 사용하여 모든 초점이 맞춰진 이미지와 CoC 필터링 템플릿을 융합함으로써 렌더링된다.
• 적대적 블러 공격는 CoCNet을 고정한 상태에서 깊이 맵을 최적화하여 PGD 기반 공격 하에서의 오분류를 최대화하도록 구현된다.
• 자연스러운 보기에 적합한 적대적 예제를 생성하기 위해 기울기 기반, 부드러운 기울기 기반, 배경 가이드 기반 기울기 기반 공격 전략을 활용한다.
• 프레임워크는 디포커스 복원 데이터셋에서 미세조정되어 적대적 블러 예제가 데이터 증강으로서의 유용성을 평가한다.

실험 결과

연구 질문

• RQ1 물리적 사전 지식을 딥러닝 모델에 통합함으로써 더 현실적이고 물리적으로 타당한 블러 효과를 어떻게 생성할 수 있는가?
• RQ2 특히 심도 허용 범위의 변화가 블러 효과에 의해 시각 인식 모델의 성능이 얼마나 떨어지는가?
• RQ3 시각적으로 자연스럽지만 딥 뉴럴 네트워크를 효과적으로 속이는 적대적 블러 예제를 생성할 수 있는가?
• RQ4 적대적 블러 예제는 디포커스 복원과 같은 후속 작업 성능 향상에 얼마나 효과적인가?
• RQ5 다양한 딥 뉴럴 네트워크 아키텍처 간에 적대적 블러 공격의 이식 가능성은 어떠한가?

주요 결과

• CoCNet은 파라미터 수가 1/5 미만이고 추론 시간도 크게 줄어들었음에도 불구하고, 최신 기술 수준의 PyNET 및 DMSHN와 유사한 블러 품질을 달성한다.
• 적대적 블러 공격는 ResNet50, VGG, MobileNetV2, DenseNet 등 모든 테스트 모델에서 상위 1위 정확도를 10% 이하로 떨어뜨려 높은 공격 성공률를 입증한다.
• 공격 변종 중 배경 가이드 기반 기울기 기반 공격(bg-gda)가 표준 기울기 및 부드러운 기울기 방법보다 더 뛰어난 이식성을 보였으며, 다양한 모델 간에서 뛰어난 성능을 보였다.
• 부드러운 기울기 기반 공격(sm-gda)는 ColorFool 및 ACE와 같은 제한 없는 공격보다 더 자연스러운 보기에 가까운 적대적 예제를 생성하여 의심을 줄였다.
• 적대적 블러 예제를 사용해 IFAN 모델을 미세조정한 결과, 디포커스 복원 성능 향상이 이루어졌으며, F-IFAN은 DPDD 테스트 세트에서 약간 높은 PSNR(25.38111 vs. 25.36620)와 SSIM(0.78887 vs. 0.78885)를 기록했다.
• 실패 케이스 분석 결과, CoCNet을 포함한 모든 방법이 작은 블러 점을 렌더링하는 데 어려움을 겪었으며, 향후 고주파 블러 세부 정보 모델링 향상의 필요성을 시사한다.