[論文レビュー] High-Resolution Deep Image Matting

Haichao Yu, Ning Xu+3 more|arXiv (Cornell University)|Sep 14, 2020

Image Enhancement Techniques被引用数 7

ひとこと要約

本稿では、パッチベースの推論戦略とクロスパッチコンテキストモジュール（CPC）を用いてパッチ間の長距離コンテキスト依存関係をモデル化する、高解像度画像マットイングのための新しい深層学習フレームワークHDMattを提案する。トリマップガイドド非局所（TGNL）演算を導入することで、関連するパッチ間での情報伝搬を効果的に行い、Adobe Image MattingおよびAlphaMattingベンチマークで最先端の性能を達成するとともに、実世界の5K×5K画像に対しても高精細な結果を生成する。

ABSTRACT

Image matting is a key technique for image and video editing and composition. Conventionally, deep learning approaches take the whole input image and an associated trimap to infer the alpha matte using convolutional neural networks. Such approaches set state-of-the-arts in image matting; however, they may fail in real-world matting applications due to hardware limitations, since real-world input images for matting are mostly of very high resolution. In this paper, we propose HDMatt, a first deep learning based image matting approach for high-resolution inputs. More concretely, HDMatt runs matting in a patch-based crop-and-stitch manner for high-resolution inputs with a novel module design to address the contextual dependency and consistency issues between different patches. Compared with vanilla patch-based inference which computes each patch independently, we explicitly model the cross-patch contextual dependency with a newly-proposed Cross-Patch Contextual module (CPC) guided by the given trimap. Extensive experiments demonstrate the effectiveness of the proposed method and its necessity for high-resolution inputs. Our HDMatt approach also sets new state-of-the-art performance on Adobe Image Matting and AlphaMatting benchmarks and produce impressive visual results on more real-world high-resolution images.

研究の動機と目的

• GPUメモリ制限などのハードウェア制約下での高解像度（HR）画像マットイングの挑戦に対処すること。
• 全画像処理を必要とする従来の深層学習手法がHR入力で失敗するという制限を克服すること。
• 従来のパッチベース手法の2つの主な欠点（ダウンサンプリングによる細部の損失、パッチ間の不一致）を解消すること。
• パッチ間の長距離コンテキスト依存関係をモデル化することで、実世界のHR画像（例：5000×5000）に対して実用的かつ高品質なマットイングを可能にすること。
• 学習可能なトリマップガイドドメカニズムを導入し、より良いアルファマット推定のためのクロスパッチ特徴伝搬を向上させること。

提案手法

• パッチベースの推論戦略を採用：高解像度入力画像を小さなパッチに切り出して処理することで、GPUメモリオーバーフローを回避する。
• 非隣接パッチ間の長距離コンテキスト依存関係を明示的にモデル化するためのクロスパッチコンテキスト（CPC）モジュールを提案する。
• CPC内にトリマップガイドド非局所（TGNL）演算を設計し、トリマップのピクセル単位のラベルを用いてパッチ間相関を計算する。
• 各クエリパッチに対して、特徴空間における類似度に基づいてK個のコンテキストパッチを選択し、TGNLを用いてそれらのパッチからの特徴を集約する。この際、前景、背景、未知領域のラベルに従ってガイドする。
• CPCモジュールを組み込んだU-Net風のエンコーダデコーダバックボーンを用い、各パッチのアルファマットを予測した後、ストイッチング戦略でフル解像度のマットを再構築する。
• トリマップを用いて注目計算をガイドする：クエリパッチの未知領域ピクセルが、参照パッチの対応する領域（fg/bg/unk）と比較され、ターゲットに特化した情報伝搬が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ハードウェアメモリ制約下でも、深層学習ベースの画像マットイング手法が高解像度画像（例：5000×5000）に対して高品質な結果を達成できるか？
• RQ2 パッチベースマットイングにおいて、パッチ間のコンテキスト依存関係を効果的にモデル化することで、一貫性と細部の忠実度を維持できるか？
• RQ3 トリマップガイドド注目メカニズムが、遠く離れたパッチ間の特徴集約に与える影響は何か？
• RQ4 本手法は、ナイーブなパッチ分割やダウンサンプリング戦略と比較して、視覚的品質および定量的指標において優れているか？
• RQ5 パッチサイズやコンテキストパッチ数の変化に対して、モデルの性能はどの程度ロバストか？

主な発見

• HDMattはAdobe Image Matting（AIM）ベンチマークでSAD 32.2を達成し、先行手法を上回る新たなSOTA性能を実現した。
• AlphaMattingベンチマークでは、SAD 32.2およびMSE 6.9×10⁻³を達成し、優れた定量的結果を示した。
• アブレーションスタディの結果、TGNL演算を備えたCPCモジュールは、ベースライン（41.1 → 33.5）と比較してSADを8.3ポイント低減し、その有効性を裏付けた。
• K=3のコンテキストパッチのみを用いても、ほぼ最適な性能（SAD 32.8）が得られ、限られたコンテキストでも本手法のロバスト性と効率性が示された。
• 実世界のHR画像における視覚的結果から、HDMattは細部を保持し、ダウンサンプリングやナイーブなパッチ分割とは異なりパッチ間の不一致を回避していることが確認された。
• 注目可視化の結果、モデルが遠く離れた意味的に類似したパッチに注目できることを示し、局所的な受容場を越えた長距離コンテキスト理解が実現していることが確認された。