[論文レビュー] AIM 2020 Challenge on Rendering Realistic Bokeh

Andrey Ignatov, Radu Timofte+33 more|arXiv (Cornell University)|Nov 10, 2020

Advanced Image Processing Techniques参考文献 37被引用数 6

ひとこと要約

本論文は、5,000組の浅いおよび広い開放度の画像ペアからなる大規模な EBB! データセットを用いて、1枚の画像から高品質なボケ効果を生成するための深層学習モデルを評価する、現実的なボケレンダリングに関する AIM 2020 チャレンジを提示している。このチャレンジでは、知覚的品質と推論効率の両面に重点を置き、修正U-Net、ダイナミックフィルタリング、ウェーブレットベースのCNNなど、さまざまなアーキテクチャを用いて、デスクトップCPUおよびスマートフォンGPU上で最先端の性能を達成した上位のソリューションが得られた。

ABSTRACT

This paper reviews the second AIM realistic bokeh effect rendering challenge and provides the description of the proposed solutions and results. The participating teams were solving a real-world bokeh simulation problem, where the goal was to learn a realistic shallow focus technique using a large-scale EBB! bokeh dataset consisting of 5K shallow / wide depth-of-field image pairs captured using the Canon 7D DSLR camera. The participants had to render bokeh effect based on only one single frame without any additional data from other cameras or sensors. The target metric used in this challenge combined the runtime and the perceptual quality of the solutions measured in the user study. To ensure the efficiency of the submitted models, we measured their runtime on standard desktop CPUs as well as were running the models on smartphone GPUs. The proposed solutions significantly improved the baseline results, defining the state-of-the-art for practical bokeh effect rendering problem.

研究の動機と目的

• 実世界のデータを用いた例示ベースの単一画像ボケレンダリングにおける最先端技術の向上を図ること。
• モデルの評価を知覚的品質にとどまらず、一般消費者用ハードウェアへのデプロイを想定した実行時間効率にも拡大すること。
• DSLRカメラで撮影された大規模かつ現実的なデータセットを用いて、現実的なボケレンダリングのベンチマークを確立すること。
• デスクトップCPUおよびモバイルGPUへのデプロイに適した効率的なモデル設計を促進すること。
• ボケ品質の包括的評価のため、ユーザースタディのMOSスコアと定量的指標（PSNR、SSIM）を統合すること。

提案手法

• キャノン 70D DSLRを用いて撮影された、5,000組の実世界の浅い開放度および広い開放度の画像ペアからなる大規模な EBB! データセットを活用した。
• 画像ペアのアライメントにSIFTおよびRANSACを用い、その後、クロップとダウンサンプリングにより高さ1024pxに処理した。
• 2つのチャレンジトラックを提案した：1つはデスクトップCPU向けに最適化されたもの、もう1つはTensorFlow Lite対応のスマートフォンGPUでの推論を想定したもの。
• PSNR、SSIM、推論実行時間、ユーザースタディのMOSスコアを組み合わせたマルチスケール評価フレームワークを採用した。
• 修正U-Net、ダイナミックフィルタリングネットワーク、ウェーブレットCNN、チャネルアテンションを備えた残差ネットワークを含む多様な深層学習アーキテクチャを実装した。
• エッジの保持と知覚的品質の向上を目的として、平均絶対誤差およびシャルボニエ損失などの損失関数を用いてモデルを訓練した。

実験結果

リサーチクエスチョン

• RQ1 追加のセンサデータなしに、深層学習モデルは1枚の入力画像から現実的なボケ効果をどのように生成できるか？
• RQ2 ボケレンダリングモデルにおいて、知覚的品質と推論効率の間にはどのようなトレードオフがあるか？
• RQ3 CPUおよびモバイルGPUプラットフォームで、視覚的忠実度と実行時間性能の両立を達成する神経ネットワークアーキテクチャはどれか？
• RQ4 ユーザーパーセプションスコア（MOS）は、PSNR や SSIM などの定量的指標とどの程度相関しているか？
• RQ5 実世界のデータで学習された効率的で軽量なモデルは、実用的なデプロイ環境において、既存のベースラインを上回ることができるか？

主な発見

• 上位のモデルは、知覚的品質と推論効率の両面で、ベースライン手法を顕著に上回った。
• スマートフォンGPUトラックのソリューションは、モバイルデバイス上でリアルタイムの推論を達成し、オンデバイスボケレンダリングの実現可能性を示した。
• ダイナミックフィルタリングとマルチスケールコンテキストアグリゲーションの活用により、ボケ効果のリアルさとシャープネスが向上した。
• ストライド付き畳み込みとスキップ接続を備えた修正U-Netアーキテクチャに基づくモデルは、計算コストを低減しつつも高い性能を達成した。
• ユーザースタディのMOSスコアは、SSIMおよびPSNRと良好に相関しており、これらの指標がボケ品質の評価に有効であることが裏付けられた。
• EBB! データセットは、さまざまな照明条件や天候条件下でも一般化可能なモデルの学習に有効であることが実証された。