[論文レビュー] DMM-Net: Differentiable Mask-Matching Network for Video Object Segmentation

Xiaohui Zeng, Renjie Liao+4 more|arXiv (Cornell University)|Sep 27, 2019

Advanced Neural Network Applications参考文献 45被引用数 9

ひとこと要約

DMM-Net は、半教師あり設定下での動画オブジェクトセグメンテーションタスクを解消するため、Dykstraのアルゴリズムを用いた勾配降下法のアンロールを用いた微分可能マスクマッチング層を提案する。オンライン学習やファインチューニングを一切行わず、エンドツーエンドで学習可能なマッチングとマスクの最適化により、DAVIS 2017 で最先端の性能を達成し、YouTube-VOS および SegTrack v2 でも競争力のある結果を示した。

ABSTRACT

In this paper, we propose the differentiable mask-matching network (DMM-Net) for solving the video object segmentation problem where the initial object masks are provided. Relying on the Mask R-CNN backbone, we extract mask proposals per frame and formulate the matching between object templates and proposals at one time step as a linear assignment problem where the cost matrix is predicted by a CNN. We propose a differentiable matching layer by unrolling a projected gradient descent algorithm in which the projection exploits the Dykstra's algorithm. We prove that under mild conditions, the matching is guaranteed to converge to the optimum. In practice, it performs similarly to the Hungarian algorithm during inference. Meanwhile, we can back-propagate through it to learn the cost matrix. After matching, a refinement head is leveraged to improve the quality of the matched mask. Our DMM-Net achieves competitive results on the largest video object segmentation dataset YouTube-VOS. On DAVIS 2017, DMM-Net achieves the best performance without online learning on the first frames. Without any fine-tuning, DMM-Net performs comparably to state-of-the-art methods on SegTrack v2 dataset. At last, our matching layer is very simple to implement; we attach the PyTorch code ($<50$ lines) in the supplementary material. Our code is released at https://github.com/ZENGXH/DMM_Net.

研究の動機と目的

• 最初のフレームでのみ真値マスクが提供される半教師あり設定下で、時間的に整合性があり正確な動画オブジェクトセグメンテーションを実現すること。
• ハンガリアン法のような最適マッチングアルゴリズムの非微分性が、セグメンテーションモデルにおけるエンドツーエンド学習を妨える問題を克服すること。
• マスクのマッチングにための微分可能なコスト行列を学習することで、マスクの伝搬、外見の変化、隠蔽、動きの処理を改善すること。
• オンライン学習や大規模なファインチューニングに依存せずに、長時間の動画シーケンスにおいても高品質で安定したセグメンテーションを実現すること。
• 既存のセグメンテーションフレームワークに容易に統合可能な、シンプルで効率的かつ微分可能なマッチング層を設計すること。

提案手法

• 各動画フレームに対してフレームに依存しないマスク候補を抽出するために、Mask R-CNN バックボーンを用いる。
• 最初のフレームからのテンプレートマスクと現在のフレームの候補との間のマッチングに用いるコスト行列を、IoU と特徴量のコサイン類似度を用いて定義する。
• 射影勾配降下法をアンロールすることで微分可能なマッチング層を導入し、Dykstraの巡回射影法による射影を適用する。
• やや緩い条件下でも最適解への収束を保証し、マッチングプロセス全体を通してバックプロパゲーションを可能にする。
• マッチング後のマスク品質を向上させるために、リファインメントヘッドを適用する。
• ネットワーク全体をエンドツーエンドで学習させ、コスト行列とリファインメントヘッドを同時に最適化可能にする。

実験結果

リサーチクエスチョン

• RQ1 ハンガリアン法の最適性を保ちつつ、バックプロパゲーションを可能にする微分可能な近似を設計できるか？
• RQ2 微分可能なマッチング層を用いたエンドツーエンド学習は、非微分可能なベースラインと比較して、セグメンテーションの正確性と時間的整合性をどの程度向上させるか？
• RQ3 本手法は、ファインチューニングなしで、隠蔽や外見の変化といった困難な状況下でも、どの程度一般化可能か？
• RQ4 アンロールステップ数とバックボーンアーキテクチャの違いが、微分可能なマッチング層の性能と学習効率に与える影響は何か？
• RQ5 微分可能なマッチング層は、追加の教師信号なしにリファインメントヘッドと効果的に組み合わせられ、マスク品質をさらに向上させられるか？

主な発見

• 提案された微分可能なマッチング層は、推論時においてハンガリアン法と同等の性能を達成し、YouTube-VOS で平均IoU 59.0、F-measure 71.7 を達成した。
• エンドツーエンドのファインチューニングにより、YouTube-VOS のバリデーションスプリットで平均IoU が 57.3 から 60.2 に、F-measure が 68.4 から 73.0 に向上した。
• ファインチューニングやオンライン学習なしに、SegTrack v2 でも競争力のある結果を達成し、優れた一般化能力を示した。
• 半教師あり設定下で DAVIS 2017 で最先端の性能を達成し、オンライン適応なしに既存手法を上回った。
• リファインメントネットワークにおけるアンロールステップ数が 2 ステップを超えると、性能向上の効果が次第に小さくなり、メモリコストが増加するため、2〜3 ステップが最適であると示された。
• 微分可能なマッチング層は実装が簡単（PyTorchで50行未満）であり、既存のセグメンテーションフレームワークへの統合も容易である。