[論文レビュー] Natural & Adversarial Bokeh Rendering via Circle-of-Confusion Predictive Network

Yihao Huang, Felix Juefei-Xu+3 more|arXiv (Cornell University)|Nov 25, 2021

Advanced Image Processing Techniques参考文献 50被引用数 4

ひとこと要約

本稿では、すべてのフォーカスが合った画像と深度マップから、物理ベースのレンダリングモデルを用いてリアルなボケ効果を生成するための、円の混乱（CoC）パラメータを予測するハイブリッドディープラーニングフレームワークCoCNetを提案する。データ駆動の学習と物理的事前知識を組み合わせることで、軽量なネットワークを用いながら最先端のボケ品質を達成し、視覚的に自然なまま深層ニューラルネットワークの性能を著しく低下させる敵対的ボケ攻撃も可能にする。

ABSTRACT

Bokeh effect is a natural shallow depth-of-field phenomenon that blurs the out-of-focus part in photography. In recent years, a series of works have proposed automatic and realistic bokeh rendering methods for artistic and aesthetic purposes. They usually employ cutting-edge data-driven deep generative networks with complex training strategies and network architectures. However, these works neglect that the bokeh effect, as a real phenomenon, can inevitably affect the subsequent visual intelligent tasks like recognition, and their data-driven nature prevents them from studying the influence of bokeh-related physical parameters (i.e., depth-of-the-field) on the intelligent tasks. To fill this gap, we study a totally new problem, i.e., natural & adversarial bokeh rendering, which consists of two objectives: rendering realistic and natural bokeh and fooling the visual perception models (i.e., bokeh-based adversarial attack). To this end, beyond the pure data-driven solution, we propose a hybrid alternative by taking the respective advantages of data-driven and physical-aware methods. Specifically, we propose the circle-of-confusion predictive network (CoCNet) by taking the all-in-focus image and depth image as inputs to estimate circle-of-confusion parameters for each pixel, which are employed to render the final image through a well-known physical model of bokeh. With the hybrid solution, our method could achieve more realistic rendering results with the naive training strategy and a much lighter network.

研究の動機と目的

• 完全にデータ駆動のボケレンダリング手法に物理的リアリズムと解釈可能性が欠けているという問題に対処すること。
• 特に被写界深度に関連するボケの物理的パラメータが、視覚的インテリジェンスタスクに与える影響を調査すること。
• データ駆動の学習と物理的事前知識を組み合わせたハイブリッドアプローチを構築し、より制御可能で解釈可能なボケ生成を実現すること。
• 深度の変動を活用して深層ニューラルネットワークの性能を著しく低下させる敵対的ボケ攻撃を可能にすること。
• 敵対的ボケ例をデータ拡張として活用し、被焦点ぼかしの除去などの下流タスクの性能向上を検討すること。

提案手法

• CoCNetは、すべてのフォーカスが合った画像と深度マップを入力として、画素ごとの円の混乱（CoC）パラメータを予測する。
• ネットワークは軽量なアーキテクチャを用い、物理的ぼかしをCoCベースのフィルタリングでシミュレートする専用の畳み込みカーネルを予測する。
• 最終的なボケ画像は、既知のボケの物理モデルを用いて、すべてのフォーカスが合った画像とCoCフィルタリング済みテンプレートを融合することでレンダリングされる。
• 敵対的ボケ攻撃は、CoCNetを固定したまま深度マップを最適化することで実装され、PGDベースの攻撃における誤分類を最大化するように設計される。
• 自然な見た目の敵対的例を生成するために、勾配ベース、滑らかにした勾配ベース、背景ガイド付き勾配ベースの攻撃戦略が採用される。
• フレームワークは、被焦点ぼかしの除去データセットで微調整され、敵対的ボケ例がデータ拡張としての有効性が評価される。

実験結果

リサーチクエスチョン

• RQ1 物理的事前知識をディープラーニングモデルに統合することで、より現実的で物理的に妥当なボケ効果をどのように生成できるか？
• RQ2 ボケ効果、特に被写界深度の変化が、視覚的認識モデルの性能にどの程度悪影響を及えるか？
• RQ3 視覚的に自然な見た目を保ちながら、深層ニューラルネットワークを効果的にだますことができる敵対的ボケ例を生成できるか？
• RQ4 敵対的ボケ例は、被焦点ぼかしの除去などの下流タスクの性能向上にどの程度効果的か？
• RQ5 敵対的ボケ攻撃は、さまざまな深層ニューラルネットワークアーキテクチャ間でどの程度転送可能か？

主な発見

• CoCNetは、PyNET や DMSHN といった最先端の手法と同等のボケ品質を達成しながら、パラメータ数が1/5未満で、推論時間も著しく短縮される。
• 敵対的ボケ攻撃により、ResNet50、VGG、MobileNetV2、DenseNetの全モデルでトップ-1精度が10％未満に低下し、高い攻撃成功率を示した。
• 攻撃のバリエーションの中で、背景ガイド付き勾配ベース攻撃（bg-gda）が、標準的勾配法や滑らかにした勾配法よりも、モデル間での転送性に優れていた。
• 滑らかにした勾配ベース攻撃（sm-gda）は、ColorFool や ACE などの制限のない攻撃に比べ、より自然な見た目の敵対的例を生成し、疑わしさを低減した。
• IFANモデルに敵対的ボケ例を用いて微調整した結果、ぼかしの除去性能が向上し、F-IFANはDPDDテストセットでPSNR（25.38111 vs. 25.36620）とSSIM（0.78887 vs. 0.78885）がわずかに向上した。
• 失敗事例では、CoCNetを含むすべての手法が、小さなボケスポットのレンダリングに苦労しており、今後の高周波数のボケディテールモデリングの向上が求められる。