[論文レビュー] Kernelized Memory Network for Video Object Segmentation

Hongje Seong, Junhyuk Hyun+1 more|arXiv (Cornell University)|Jul 16, 2020

Visual Attention and Saliency Detection参考文献 52被引用数 11

ひとこと要約

本論文は、空間時間的メモリネットワーク（STM）の非局所的一致バイアスを軽減するためにガウスカーネルを導入したカーネル化されたメモリネットワーク（KMN）を提案する。静的画像での事前学習にHide-and-Seekデータ拡張戦略を用いることで、遮蔽に対する耐性が向上し、境界の正確性が向上し、DAVIS 2017でmAPが5%向上し、1フレームあたり0.12秒の推論速度を達成した。

ABSTRACT

Semi-supervised video object segmentation (VOS) is a task that involves predicting a target object in a video when the ground truth segmentation mask of the target object is given in the first frame. Recently, space-time memory networks (STM) have received significant attention as a promising solution for semi-supervised VOS. However, an important point is overlooked when applying STM to VOS. The solution (STM) is non-local, but the problem (VOS) is predominantly local. To solve the mismatch between STM and VOS, we propose a kernelized memory network (KMN). Before being trained on real videos, our KMN is pre-trained on static images, as in previous works. Unlike in previous works, we use the Hide-and-Seek strategy in pre-training to obtain the best possible results in handling occlusions and segment boundary extraction. The proposed KMN surpasses the state-of-the-art on standard benchmarks by a significant margin (+5% on DAVIS 2017 test-dev set). In addition, the runtime of KMN is 0.12 seconds per frame on the DAVIS 2016 validation set, and the KMN rarely requires extra computation, when compared with STM.

研究の動機と目的

• 空間時間的メモリネットワーク（STM）の非局所的性質と、動画オブジェクトセグメンテーション（VOS）の主に局所的な性質との不一致を是正すること。
• 特にオブジェクトエッジ付近での遮蔽や境界の不正確さに対する耐性を高めること。
• 高い推論速度を維持しながら、半教師付きVOSで最先端の性能を達成するメモリネットワークを開発すること。
• 特に境界予測の最適化を目的として、Hide-and-Seekをセグメンテーションタスクの事前学習戦略として活用することの可能性を検討すること。

提案手法

• クエリとメモリ特徴間の一致を局所化するためにガウスカーネルを用いたカーネル化されたメモリリード操作を導入し、不適切な非局所的一致を低減する。
• 遮蔽をシミュレートし、より綺麗で正確なマスク境界を生成するために、静的画像での事前学習中にHide-and-Seekデータ拡張を採用する。
• ImageNet風の静的画像でHide-and-Seekを用いて事前学習し、動画データセットでの微調整の前に一般化性能を向上させる。
• 標準的なQKV（クエリ・キー・値）機構を採用するが、空間的に制限されたガウスカーネルを用いて相関計算を変更し、局所的文脈を優先する。
• 推論時にも同じカーネル化されたメモリモジュールを適用し、高速な推論速度を維持する。
• 固定パラメータを用いたオフライン学習により、各動画シーケンスごとのオンライン適応を不要にする。

実験結果

リサーチクエスチョン

• RQ1 カーネル化されたメモリ機構は、STMベースのVOSモデルに内在する非局所的一致エラーを低減できるか？
• RQ2 Hide-and-Seek戦略による事前学習は、動画セグメンテーションにおける遮蔽への一般化性能と境界の正確性を向上させるか？
• RQ3 カーネル化されたメモリネットワークは、オンライン学習手法と比較して低遅延を維持しながら最先端の性能を達成できるか？
• RQ4 Hide-and-Seekは、事前学習段階でどの程度マスク境界の品質を向上させるか？

主な発見

• KMNはDAVIS 2017テスト・デベロップメントセットにおいて、以前の最先端手法より5.0%のmAP絶対値向上を達成し、mAP 88.1%を記録した。
• DAVIS 2016バリデーションセットでは1フレームあたり0.12秒の推論速度を達成し、オンライン学習手法よりも顕著に高速であり、STMと同等の速度であった。
• アブレーションスタディにより、カーネル化されたメモリとHide-and-Seekによる事前学習の両方が、性能向上に独立してかつ顕著に寄与していることが確認された。
• ピクセル単位の損失の可視化から、Hide-and-Seekが境界ノイズを低減していることが示され、クリアで正確なマスクの教師信号生成の有効性が裏付けられた。
• 定性的な結果から、遮蔽、高速変形、類似背景オブジェクトといった困難なケースでも優れた性能を示した。
• 1フレームあたり0.12秒の推論速度を維持しながら、DAVIS 2016、DAVIS 2017、YouTube-VOSのすべてのベンチマークで、オンライン学習アプローチでさえも上回った。