[論文レビュー] Mask Point R-CNN.

Wenchao Zhang, Chong Fu+1 more|arXiv (Cornell University)|Aug 2, 2020

Advanced Neural Network Applications参考文献 31被引用数 3

ひとこと要約

この論文は、オブジェクトの輪郭に注目するためのキーポイントベースの補助タスクを導入することで、エッジ検出を向上させる強化されたインスタンスセグメンテーションモデルであるMask Point R-CNNを提案する。マルチタスク学習を用いてキーポイント検出からの特徴をMask R-CNNと統合することで、計算コストの増加を最小限に抑えつつ性能を向上させ、Cityscapesの検証セットとテストセットでそれぞれ5.4%および5.0%のmAP向上を達成した。

ABSTRACT

The attributes of object contours has great significance for instance segmentation task. However, most of the current popular deep neural networks do not pay much attention to the target edge information. Inspired by the human annotation process when making instance segmentation datasets, in this paper, we propose Mask Point RCNN aiming at promoting the neural networks attention to the target edge information, which can heighten the information propagates between multiple tasks by using different attributes features. Specifically, we present an auxiliary task to Mask RCNN, including utilizing keypoint detection technology to construct the target edge contour, and enhancing the sensitivity of the network to the object edge through multi task learning and feature fusion. These improvements are easy to implement and have a small amount of additional computing overhead. By extensive evaluations on the Cityscapes dataset, the results show that our approach outperforms vanilla Mask RCNN by 5.4% on the validation subset and 5.0% on the test subset.

研究の動機と目的

• オブジェクトの輪郭詳細へのニューラルネットワークの注目を高めることで、インスタンスセグメンテーションを改善すること。
• 従来のモデルがトレーニング中に正確なエッジ情報を活用するのを制限する点を是正すること。
• 複数のタスクにわたる特徴伝搬を促進する、軽量で効果的な補助タスクを導入すること。
• 計算コストを著しく増加させることなく、セグメンテーション精度を向上させること。
• 人間のアノテーションの実践を模倣するために、ディープネットワーク内でオブジェクト境界属性を明示的にモデル化すること。

提案手法

• オブジェクトの輪郭点を明示的にモデル化するための補助キーポイント検出タスクを導入する。
• キーポイント予測を用いて、トレーニング中にネットワークの注目をオブジェクトエッジに誘導する。
• マルチタスク学習を介してキーポイントヘッドとマスクヘッドの特徴を統合する。
• 検出、セグメンテーション、キーポイント予測の間で情報が流れ込むように、共有バックボーン特徴を活用する。
• 特徴統合戦略を適用して、エッジに敏感な表現学習を強化する。
• 標準的なMask R-CNNアーキテクチャと互換性を持たせつつ、最小限のアーキテクチャ変更を実現する。

実験結果

リサーチクエスチョン

• RQ1 キーポイントベースの補助タスクを導入することで、インスタンスセグメンテーションの性能が向上するか？
• RQ2 オブジェクトの輪郭を明示的にモデル化することで、インスタンスセグメンテーションにおける特徴学習にどのような影響を与えるか？
• RQ3 キーポイントの監視を伴うマルチタスク学習は、エッジ検出とセグメンテーション精度をどの程度向上させるか？
• RQ4 Mask R-CNNに境界モデリングを統合する際の計算コストはどの程度か？
• RQ5 提案手法は、異なるインスタンスセグメンテーションベンチマークに一般化可能か？

主な発見

• 提案されたMask Point R-CNNは、Cityscapesの検証セットにおいて、vanilla Mask R-CNNと比較してmAPが5.4%絶対的に向上した。
• Cityscapesのテストセットでは、ベースラインのMask R-CNNと比較してmAPが5.0%向上した。
• 計算コストの増加はわずかであり、この手法は効率的である。
• 補助キーポイントタスクは、ネットワークのオブジェクト境界の詳細への感受性を効果的に高めた。
• キーポイントヘッドとマスクヘッド間の特徴統合により、タスク間でエッジに敏感な特徴の伝搬が改善された。
• 境界属性を明示的にモデル化することで、人間のアノテーション行動を効果的に模倣した。