[論文レビュー] Highly Efficient Natural Image Matting

Yijie Zhong, Bo Li+3 more|arXiv (Cornell University)|Oct 25, 2021

Image Enhancement Techniques参考文献 32被引用数 10

ひとこと要約

本稿では、2段階フレームワークを用いた、トリマップに依存しない軽量な自然画像マットリング手法を提案する。セグメンテーションネットワーク（SN）は意味的分類を、マットリング精緻化ネットワーク（MRN）はアルファ値予測を担当する。マルチスケール特徴抽出を効率的に行うクロスレベル統合モジュール（CFM）と、長距離依存関係をモデル化する効率的非局所注意（ENA）モジュールを導入し、ベンチマークデータセット上で344kパラメータでSOTA性能を達成した。これは大規模モデルの1%に相当する。

ABSTRACT

Over the last few years, deep learning based approaches have achieved outstanding improvements in natural image matting. However, there are still two drawbacks that impede the widespread application of image matting: the reliance on user-provided trimaps and the heavy model sizes. In this paper, we propose a trimap-free natural image matting method with a lightweight model. With a lightweight basic convolution block, we build a two-stages framework: Segmentation Network (SN) is designed to capture sufficient semantics and classify the pixels into unknown, foreground and background regions; Matting Refine Network (MRN) aims at capturing detailed texture information and regressing accurate alpha values. With the proposed cross-level fusion Module (CFM), SN can efficiently utilize multi-scale features with less computational cost. Efficient non-local attention module (ENA) in MRN can efficiently model the relevance between different pixels and help regress high-quality alpha values. Utilizing these techniques, we construct an extremely light-weighted model, which achieves comparable performance with ~1\% parameters (344k) of large models on popular natural image matting benchmarks.

研究の動機と目的

• 深層学習ベースのマットリング手法がユーザー提供のトリマップに依存しており、大規模なモデルサイズを必要とすることの制限を解消すること。
• モデルサイズと計算コストを低減することで、低リソースデバイスへの実用的導入を可能にすること。
• トリマップフリーのエンドツーエンドフレームワークを構築し、同時に画像領域のセグメンテーションと正確なアルファ値の回帰を実現すること。
• 最小限のパラメータ数とFLOPsで高い性能を維持する効率的なモジュールを設計すること。

提案手法

• フレームワークは2段階構成である。軽量バックボーンを用いて、ピクセルを前景、背景、未知領域に分類するセグメンテーションネットワーク（SN）が第一段階である。
• 第二段階として、詳細なテクスチャ情報を利用することで、未知領域のアルファ値を精緻化するマットリング精緻化ネットワーク（MRN）が用いられる。
• クロスレベル統合モジュール（CFM）により、SNが計算コストを低減しつつマルチスケール特徴を効率的に統合できる。
• MRNに組み込まれた効率的非局所注意（ENA）モジュールは、スパarsなサンプリングを用いて長距離ピクセル関係をモデル化し、アルファ値予測の精度を向上させる。
• ENAはサンプリング間隔 √k = 4 を用いることで、効果的な長距離モデリングと計算効率の両立を実現している。
• 意味的表現と低FLOPsを実現する軽量バックボーンを設計し、エンドツーエンドでモデルを学習している。

実験結果

リサーチクエスチョン

• RQ1 トリマップに依存しない自然画像マットリングモデルが、顕著に小型化されたモデルサイズでSOTA性能を達成できるか？
• RQ2 軽量ネットワークにおいて、マルチスケール特徴をどのように効率的に統合すれば、意味的理解を向上させられるか？
• RQ3 計算コストを増加させずに、効率的なアテンション機構がマットリングにおいて長距離依存関係を効果的にモデル化できるか？
• RQ4 マットリングタスクにおいて、モデル容量、パラメータ数、推論効率の最適なトレードオフは何か？

主な発見

• 提案モデルはComposition-1kベンチマークでSAD 19.59を達成し、344kパラメータでSOTA手法を上回った。
• FLOPsは0.93Gに留まり、大規模モデルの1%に相当するが、高い精度を維持した。
• ENAモジュールを導入することで、ベースラインからSADが34.33から19.59に低下し、長距離依存関係のモデル化効果が明確に示された。
• バックボーンをMobileNetV2やShuffleNetV2に置き換えた場合、SADは47.21および48.72に上昇し、FLOPsも増加した。これにより、提案された軽量バックボーンの優位性が確認された。
• アブレーションスタディの結果、CFMとENAを併用することで最高の性能が得られ、ベースライン比でSADが46.3%低減した。
• 実世界のインターネット画像に対しても良好な一般化性能を示し、明確な前景境界と滑らかな遷移を有する高品質なアルファマットを生成した。