[論文レビュー] Deep Image Matting

Ning Xu, Brian Price+2 more|arXiv (Cornell University)|Mar 10, 2017

Image Enhancement Techniques参考文献 23被引用数 33

ひとこと要約

本論文では、畳み込みエンコーダ・デコーダネットワークとリファインメントネットワークを組み合わせた深層学習ベースの画像マットイング手法を提案する。低レベル特徴と高レベルコンテキストの両方を活用することで、ベンチマークデータセットおよび実世界の画像において、特に前景と背景の色が似通っている場合や複雑なテクスチャを含む困難な状況でも、最先端の性能を達成する。

ABSTRACT

Image matting is a fundamental computer vision problem and has many applications. Previous algorithms have poor performance when an image has similar foreground and background colors or complicated textures. The main reasons are prior methods 1) only use low-level features and 2) lack high-level context. In this paper, we propose a novel deep learning based algorithm that can tackle both these problems. Our deep model has two parts. The first part is a deep convolutional encoder-decoder network that takes an image and the corresponding trimap as inputs and predict the alpha matte of the image. The second part is a small convolutional network that refines the alpha matte predictions of the first network to have more accurate alpha values and sharper edges. In addition, we also create a large-scale image matting dataset including 49300 training images and 1000 testing images. We evaluate our algorithm on the image matting benchmark, our testing set, and a wide variety of real images. Experimental results clearly demonstrate the superiority of our algorithm over previous methods.

研究の動機と目的

• 前向きな画像マットイング手法が、前後景の色が似通っている場合や複雑なテクスチャを含む場合に困難を示すという限界を解決する。
• 低レベル特徴のみに依存する従来手法の問題を克服するため、高レベルの文脈的情報を統合する。
• アルファマットの同時予測とリファインメントを実現する深層学習フレームワークを開発する。
• 49,300枚の学習画像および1,000枚のテスト画像を含む大規模な画像マットイングデータセットを構築し、モデルの訓練と評価を強固にする。

提案手法

• 入力画像と対応するトリマップを受け取り、初期のアルファマットを予測する深層畳み込みエンコーダ・デコーダネットワークを採用する。
• 初期のアルファマット予測の精度とエッジのシャープネスを向上させるために、小型で専用の畳み込みネットワークを統合する。
• ネットワークが前景領域と背景領域を区別できるように、トリマップを条件付き入力として使用する。
• 予測されたアルファマットと真値の差を最小化する損失関数を用いて、モデルをエンドツーエンドで訓練する。
• エンコーダ・デコーダアーキテクチャにおける階層的特徴抽出により、低レベルの画像詳細と高レベルの意味的コンテキストの両方を活用する。
• 一般化性能とモデルのロバスト性を向上させるために、49,300枚の学習画像および1,000枚のテスト画像を含む大規模データセットを活用する。

実験結果

リサーチクエスチョン

• RQ1 低レベルの色コントラストが小さい場合に、深層学習モデルが画像マットイングの性能を効果的に向上させられるか。
• RQ2 低レベル特徴に依存するモデルと比較して、高レベルの文脈的特徴がアルファマット予測の精度にどの程度寄与するか。
• RQ3 一連の予測とその後のリファインメントという二段階のアプローチが、単一段階の手法よりも優れたエッジ品質とアルファ値の正確性を達成できるか。
• RQ4 本手法は、制御されたベンチマークデータセットにとどまらず、実世界の画像に対しても一般化できるか。

主な発見

• 標準的な画像マットイングベンチマークにおいて、本手法は従来の最先端手法を上回る優れた性能を達成した。
• 従来手法がしばしば失敗する、前後景の色が類似している画像の処理において、本モデルは顕著な改善を示した。
• リファインメントネットワークは、予測されたアルファマットのエッジのシャープネスを効果的に向上させ、ぼやけを低減した。
• 49,300枚の学習画像および1,000枚のテスト画像を含む大規模データセットのおかげで、より強固な訓練と信頼性の高いモデル評価が可能になった。
• ベンチマークおよび実世界の画像における定量的評価結果から、本モデルが多様で困難な状況下でも有効であることが確認された。