[論文レビュー] Instance Embedding Transfer to Unsupervised Video Object Segmentation

Siyang Li, Bryan Seybold+4 more|arXiv (Cornell University)|Jan 3, 2018

Visual Attention and Saliency Detection参考文献 35被引用数 14

ひとこと要約

本稿では、事前学習済みの静的画像ネットワークからのインスタンス埋め込みを動画に転送する、新しい非教師あり動画オブジェクトセグメンテーション手法を提案する。オブジェクト性とオプティカルフローを用いて代表的な前景および背景埋め込みを選択する。微調整なしで、DAVISで78.5%の平均IoU、FBMSで71.9%を達成し、フレーム間でインスタンス埋め込みの安定性と転送可能性が示された。

ABSTRACT

We propose a method for unsupervised video object segmentation by transferring the knowledge encapsulated in image-based instance embedding networks. The instance embedding network produces an embedding vector for each pixel that enables identifying all pixels belonging to the same object. Though trained on static images, the instance embeddings are stable over consecutive video frames, which allows us to link objects together over time. Thus, we adapt the instance networks trained on static images to video object segmentation and incorporate the embeddings with objectness and optical flow features, without model retraining or online fine-tuning. The proposed method outperforms state-of-the-art unsupervised segmentation methods in the DAVIS dataset and the FBMS dataset.

研究の動機と目的

• 動画シーケンス内で前景オブジェクトが変化する（例：ある動画では車が前景、別の動画では背景）非教師あり動画オブジェクトセグメンテーションの課題に対処すること。
• ドメインシフトの影響を受けて一般化性能が低い直接的な前景/背景分類ネットワークの限界を克服すること。
• 動画固有のアノテーションやモデル再訓練を回避するため、静的画像で事前学習されたインスタンス埋め込みネットワークを動画セグメンテーションに活用すること。
• オブジェクト性と動きの顕著性を用いて、非パrametricかつオンラインで適応可能な手法として、前景および背景のシードを生成することで、多様な動画コンテンツに対して頑健なセグメンテーションを実現すること。

提案手法

• 本手法は、静的画像上でセマンティックカテゴリとインスタンスレベルの埋め込みを同時に学習する事前学習済みのFCNからインスタンス埋め込みを転送する。
• オブジェクト性スコアとオプティカルフローに基づく動きの顕著性を用いて、各フレームの代表的な前景および背景埋め込みを選択し、シード集合を形成する。
• ピクセルは、前景または背景のシード集合における埋め込み空間内での最近傍探索によって分類され、新たな分類器を学習せず、非パrametricなセグメンテーションが可能になる。
• オンライン適応を組み込むことで、kフレームごとに前景および背景のシード集合を更新し、外見的および動きの変化に対する耐性を高める。
• 埋め込みネットワークの微調整やオンライン適応を一切行わず、時間経過に伴うインスタンス埋め込みの安定性に依存する。
• 半教師あり設定では、最初のフレームの正解マスクを用いてシード集合を初期化し、密なCRFを用いて結果を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの静的画像ネットワークからのインスタンス埋め込みを、再訓練や微調整なしに非教師あり動画オブジェクトセグメンテーションに効果的に転送できるか？
• RQ2 時間経過に伴うインスタンス埋め込みの安定性が、前景オブジェクトが変化する動画フレーム間で一貫したオブジェクト追跡を可能にする仕組みは何か？
• RQ3 教師なし条件下で、代表的な前景および背景埋め込みを選択するための最も効果的な基準は何か？
• RQ4 オブジェクト性と動きの顕著性を併用することで、単独で用いる場合と比較して、シード選択とセグメンテーション精度がどのように向上するか？
• RQ5 シード集合のオンライン適応が、長時間の動画シーケンスにおいて性能をどの程度向上させるか？

主な発見

• 本手法は、DAVISデータセットで78.5%、FBMSデータセットで71.9%の平均交差率（IoU）を達成し、微調整なしで先行するすべての非教師あり手法を上回った。
• kフレームごとのオンライン適応により性能が顕著に向上し、1フレームごとの適応では非適応初期化と比較してIoUが7.0%向上した。
• オブジェクト性と動きの顕著性を併用したシードランク付けにより、初期の前景シードの正確性が94.6%に達し、平均IoUも77.5%に達した。単独で用いる場合より優れた性能を示した。
• オブジェクト性のみを用いる場合、初期シード正確性は88.2%にとどまるが、最終的なIoUは75.7%に達し、動きの顕著性のみを用いる場合（90.6%の正確性、74.3%のIoU）よりも高い。これは、埋め込み空間内での誤りパターンがより許容されやすいことを示唆している。
• 半教師あり設定では、モデルの微調整なしでDAVIS検証セットで77.6%の平均IoUを達成し、OSVOS や SFL を含む多数の先行手法を上回った。
• 結果から、インスタンス埋め込みは時間経過に伴って安定しており、同じオブジェクトが異なるシーケンスで前景または背景として現れても、動画セグメンテーションのための頑健な外見モデルとして機能することが示された。