[論文レビュー] $F$, $B$, Alpha Matting

Marco Forte, François Pitié|arXiv (Cornell University)|Mar 17, 2020

Image Enhancement Techniques参考文献 34被引用数 7

ひとこと要約

本稿では、バッチサイズ1および独創的な除外損失を用いた、変更を加えたエンコーダ・デコーダアーキテクチャを採用する低コストでエンド・ツー・エンドの深層学習手法を提案する。この手法は、画像マットリングにおけるアルファマット、フォアグラウンド、バックグラウンドの色の同時予測を実現し、計算コストやメモリコストを増加させることなく、Adobe Composition-1kおよびalphamatting.comのベンチマークで最先端の性能を達成した。

ABSTRACT

Cutting out an object and estimating its opacity mask, known as image matting, is a key task in many image editing applications. Deep learning approaches have made significant progress by adapting the encoder-decoder architecture of segmentation networks. However, most of the existing networks only predict the alpha matte and post-processing methods must then be used to recover the original foreground and background colours in the transparent regions. Recently, two methods have shown improved results by also estimating the foreground colours, but at a significant computational and memory cost. In this paper, we propose a low-cost modification to alpha matting networks to also predict the foreground and background colours. We study variations of the training regime and explore a wide range of existing and novel loss functions for the joint prediction. Our method achieves the state of the art performance on the Adobe Composition-1k dataset for alpha matte and composite colour quality. It is also the current best performing method on the alphamatting.com online evaluation.

研究の動機と目的

• 従来の深層学習マットリング手法がアルファマットのみを予測するという制限を解決し、フォアグラウンドおよびバックグラウンドの色を回復するために後処理を必要としないこと。
• アルファ、フォアグラウンド、バックグラウンドの同時予測がマットリング品質および合成の現実性に与える影響を調査すること。
• 特にバッチサイズと正規化の選択がモデルの収束および性能に顕著に与える影響を同定すること。
• 色の重なりや誤った色予測を防ぐために、除外損失を含む新しい損失関数の有効性を評価すること。

提案手法

• 本手法は、セマンティックセグメンテーションネットワークに基づいた変更を加えたエンコーダ・デコーダアーキテクチャを用い、アルファマット、フォアグラウンド、バックグラウンドの色の3つの出力を予測する。
• 訓練における重要な革新は、バッチサイズ1の使用であり、著者らはこれが収束および最終的な性能を著しく改善することを示している。
• モデルは、アルファマットにおけるL1損失、フォアグラウンドおよびバックグラウンドにおけるL1損失、および、重複または誤った色予測をペナルティ化する独創的な除外損失の組み合わせで訓練される。
• 除外損失により、透過領域における予測されたフォアグラウンドおよびバックグラウンドの色が干渉しなくなり、合成の現実性が向上する。
• 予測されたアルファマットと予測されたフォアグラウンドおよびバックグラウンドを統合するための統合メカニズムが採用され、現実的な合成画像が生成される。
• テスト時増強（TTA）が適用され、ベンチマーク評価における汎化性および性能のさらなる向上が図られている。

実験結果

リサーチクエスチョン

• RQ1 アルファマットの予測に加えてフォアグラウンドおよびバックグラウンドの色を同時に予測することで、後処理手法と比較してマットリング品質および合成の現実性が向上するか？
• RQ2 特にバッチサイズと正規化層の違いが、アルファマットリングネットワークの収束および性能に与える影響は何か？
• RQ3 軽量で低コストのアーキテクチャ的変更によって、推論コストを増加させることなく、アルファ、フォアグラウンド、バックグラウンドの同時予測において最先端の性能を達成できるか？
• RQ4 色の漏れを防ぎ、空間的一致性を向上させるために、どの損失関数がジョイント予測モデルの訓練に最も効果的か？
• RQ5 除外損失は、透過性が非常に高い領域におけるフォアグラウンドおよびバックグラウンドの推定にどのように寄与するか？

主な発見

• Adobe Composition-1kデータセットにおいて、本手法はSAD 26.4、MSE 5.4×10³、連結性21.5を達成し、先行手法を上回る最先端の性能を示した。
• alphamatting.comベンチマークでは、全体の平均順位（6.7）で1位となり、連結性指標の平均順位1.9を記録した。これは、以前にこの指標で高い順位を記録していたDeep Image Mattingでさえも上回った。
• バッチサイズ1の使用は収束および性能の観点で極めて重要であり、著者らはこれが文献に報告された過去の訓練失敗の主な要因であることを示した。
• 除外損失はフォアグラウンドおよびバックグラウンドの色推定を著しく改善し、色の漏れを低減させ、合成の現実性を向上させた。
• ジョイントフォアグラウンドおよびバックグラウンド予測に加え、除外損失と統合メカニズムを組み合わせることで、アルファのみを予測する手法と比較して連結性スコアが15%向上した。
• テスト時増強（TTA）の追加により、性能がさらに向上し、SADが25.8、連結性が20.8に低下した。これは、汎化性能の向上に有効であることを確認した。