[論文レビュー] Boundary-Aware Network for Fast and High-Accuracy Portrait Segmentation

Xi Chen, Donglian Qi+1 more|arXiv (Cornell University)|Jan 12, 2019

Advanced Neural Network Applications参考文献 25被引用数 18

ひとこと要約

本稿では、境界注意メカニズムと新規のリファイン損失関数を用いて境界の詳細抽出を向上させる、軽量でリアルタイムなポートレートセグメンテーションモデルであるBoundary-Aware Network (BANet) を提案する。BANet は 512×512 の画像で 43 FPS を達成し、人為的アノテーションマスクを上回る詳細なセグメンテーション結果を生成する。パrameterはわずか 0.62 MB であり、従来手法に比べて詳細品質で優れる。

ABSTRACT

Compared with other semantic segmentation tasks, portrait segmentation requires both higher precision and faster inference speed. However, this problem has not been well studied in previous works. In this paper, we propose a lightweight network architecture, called Boundary-Aware Network (BANet) which selectively extracts detail information in boundary area to make high-quality segmentation output with real-time( >25FPS) speed. In addition, we design a new loss function called refine loss which supervises the network with image level gradient information. Our model is able to produce finer segmentation results which has richer details than annotations.

研究の動機と目的

• 髪の毛や衣類の端の細部を保持するリアルタイムで高精度なポートレートセグメンテーションモデルの不足を解消すること。
• 粗い人為的アノテーションや、特徴マップをダウンサンプリングする従来のセマンティックセグメンテーションモデルの限界を克服すること。
• モバイルデプロイメントに適した軽量なネットワークアーキテクチャを設計し、最先端の境界忠実度を維持すること。
• 画像の勾配情報を用いた監視により、アノテーションの解像度を超えて詳細品質を向上させる、新規のトレーニング戦略を導入すること。

提案手法

• 境界注意マップによってガイドされる高レベルの意味的ブランチと低レベルの特徴抽出ブランチからなる二本のブランチアーキテクチャを提案する。
• 高レベル特徴を用いて低レベルの詳細に注目するように、境界領域に特化した注目メカニズムを設計する。
• 画像レベルの勾配情報を用いて境界のリファインを監視するリファイン損失関数を導入し、アノテーションを上回るより細かい詳細を学習可能にする。
• 深度分離畳み込みとチャネル削減を用いて効率性を最適化し、パrameterをわずか 0.62 MB に抑える。
• 異なる入力解像度で性能を維持するため、マルチスケールのトレーニングおよび推論戦略を採用する。
• 高品質なアノテーションを備えた Supervise.ly データセットを用いて、エンドツーエンドでモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 軽量なセグメンテーションネットワークは、人為的アノテーションマスクを上回る高品質な境界を生成しながら、リアルタイムの推論速度（≥25 FPS）を達成できるか？
• RQ2 境界注意メカニズムは、モデルの複雑さを増さずに、物体の境界領域での特徴抽出を効果的に強化できるか？
• RQ3 画像勾配に基づくリファイン損失関数は、アノテーションの解像度を超えて、どの程度詳細品質を向上させられるか？
• RQ4 限られたデータ（1,400枚の画像）でトレーニングされたモデルは、モバイルデプロイメントに適した汎用性を備えており、より大きなモデルを上回る境界忠実度を達成できるか？
• RQ5 境界注意とリファイン損失の組み合わせは、標準的な損失関数と比較して、mIoU と視覚的詳細品質の両面で優れているか？

主な発見

• BANet-64 は 512×512 の画像でわずか 0.62 MB のパrameterで 43 FPS を達成し、PFCN+（134.27 MB）や U-Net（13.40 MB）に比べて顕著にモデル効率が優れている。
• PFCN+（95.92%）よりもわずかに低い mIoU（95.80%）であるが、KNNアノテーションマスクを上回るより細かい境界を生成する。これは、詳細品質が優れていることを示している。
• アブレーションスタディにより、境界注意が mIoU を 0.3% 向上させ、リファイン損失が 0.6% 向上させることを確認した。視覚的結果ではエッジのシャープネスが顕著に向上している。
• BANet-512 は 12.75 MB のパrameterで 96.13% の mIoU を達成し、精度面で他のモデルを上回り、29 FPS のリアルタイム推論を維持している。
• アノテーションを上回る結果を生成できる能力は、リファイン損失がアノテーション品質を超える詳細を効果的に学習していることを示している。
• モバイルデプロイメントにおいて、BANet-64 の小型化と高速性のおかげで、背景置換や画像ビューティフィケーションなどのリアルタイムアプリケーションが実現可能である。