[論文レビュー] Disentangled Image Matting

Shaofan Cai, Xiaoshuai Zhang+7 more|arXiv (Cornell University)|Sep 10, 2019

Image Enhancement Techniques参考文献 39被引用数 8

ひとこと要約

本稿では、アルファマットの予測とトリマップの最適化をマルチタスク学習アーキテクチャに分離することで、画像マットイングのための新しい深層学習フレームワークAdaMattingを提案する。サブピクセル畳み込み、グローバル畳み込み、および動的マルチタスク損失を活用することで、合成データ（Composition-1k）および実世界のベンチマークの両方で最先端の性能を達成し、勾配損失を16.89、MSEを0.0102低減した。

ABSTRACT

Most previous image matting methods require a roughly-specificed trimap as input, and estimate fractional alpha values for all pixels that are in the unknown region of the trimap. In this paper, we argue that directly estimating the alpha matte from a coarse trimap is a major limitation of previous methods, as this practice tries to address two difficult and inherently different problems at the same time: identifying true blending pixels inside the trimap region, and estimate accurate alpha values for them. We propose AdaMatting, a new end-to-end matting framework that disentangles this problem into two sub-tasks: trimap adaptation and alpha estimation. Trimap adaptation is a pixel-wise classification problem that infers the global structure of the input image by identifying definite foreground, background, and semi-transparent image regions. Alpha estimation is a regression problem that calculates the opacity value of each blended pixel. Our method separately handles these two sub-tasks within a single deep convolutional neural network (CNN). Extensive experiments show that AdaMatting has additional structure awareness and trimap fault-tolerance. Our method achieves the state-of-the-art performance on Adobe Composition-1k dataset both qualitatively and quantitatively. It is also the current best-performing method on the alphamatting.com online evaluation for all commonly-used metrics.

研究の動機と目的

• 低品質なトリマップ入力を補うために、アルファ予測とトリマップの最適化を同時に学習することによる画像マットイングの課題を解決すること。
• 細部の構造が複雑なシーンにおけるアルファマット予測のロバスト性と詳細の忠実度を向上させること。
• より良い特徴学習を実現するため、アルファ推定とトリマップ適応を分離したマルチタスクネットワークアーキテクチャを設計すること。
• 訓練中に複数の損失成分のバランスを動的に調整することで、一般化性能と収束性を向上させること。
• 合成および実世界の画像マットイングベンチマークの両方で最先端の性能を達成すること。

提案手法

• アルファ予測とトリマップ適応のための2つのデコーダを備えた共有エンコーダを持つマルチタスクオートエンコーダアーキテクチャを採用する。
• 高解像度のアルファマット予測における空間的詳細の保持を図るため、特徴のアップサンプリングにサブピクセル畳み込みを導入する。
• 画像全体の長距離的文脈的依存関係を捉えることで推論性能を向上させるために、グローバル畳み込みを用いる。
• 空間的文脈とエッジに敏感な平滑化を用いて、アルファマット予測の精練を実現するための伝搬ユニット（PU）を適用する。
• 訓練中に勾配損失、SAD、MSE損失の重要度を自動的に調整する動的重み付けマルチタスク損失を実装する。
• バックプロパゲーションを用いて損失重みを学習するL1ベースの損失と適応的損失重み付けを組み合わせ、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 アルファ予測とトリマップ適応の共同学習は、低品質またはノイズの多いトリマップにおいてマットイング性能を向上させることができるか？
• RQ2 サブピクセル畳み込みとグローバル畳み込みは、アルファマット予測における細部の保持にどのように寄与するか？
• RQ3 マルチタスク学習における動的損失重み付けは、固定重み付けよりも収束性と性能に優れているか？
• RQ4 分離型アーキテクチャは、エンドツーエンドマットイングモデルと比較して、実世界の画像により一般化しやすいか？
• RQ5 各コンポonent（SP、GC、PU）の相対的寄与度は、全体の性能向上にどの程度寄与しているか？

主な発見

• 完全なAdaMattingモデルは、Composition-1kベンチマークで勾配損失16.89、SAD41.70、MSE0.0102を達成し、すべてのアブレーションバリアントを上回った。
• 伝搬ユニット（PU）を削除すると性能低下が最も顕著で、勾長損失は17.86に、SADは44.13に上昇し、PUがエッジ精錬において極めて重要な役割を果たしていることが示された。
• アブレーションスタディの結果、サブピクセル畳み込み（SP）とグローバル畳み込み（GC）の両方が顕著な寄与を示し、SP/GC/PUをすべて削除したバリアントと比較して、勾長損失が8.29改善された。
• 動的重み付け損失（AdaMatting-D）は固定重み付けバージョン（AdaMatting-F、18.35）よりも優れた結果（勾長損失16.89）を達成し、適応的損失バランスの利点を裏付けた。
• 実世界の画像においては、背景置換の比較結果から、AdaMattingはDIMおよびInformation Flowと比較して、より自然でロバストな前景抽出を実現した。
• 訓練中に損失重みσ₁とσ₂は安定的に約0.0995および0.0878に収束し、タスク重要度の自動的バランスが有効に機能していることが示された。