[論文レビュー] Key Instance Selection for Unsupervised Video Object Segmentation

Donghyeon Cho, Sungeun Hong+2 more|arXiv (Cornell University)|Jun 18, 2019

Visual Attention and Saliency Detection参考文献 9被引用数 10

ひとこと要約

本論文は、動画のサリエンシーと外観頻度に基づいて、K 個の顕著なインスタンスを選択することで、非教師付き動画オブジェクトセグメンテーション（UVOS）の効率性と正確性を向上させるキーインスタンス選択手法を提案する。ReID記述子、トラジェクトリの整合性、および意味的共同セグメンテーションを組み合わせてID割り当てを実行し、フレーム M 以降にサリエンシー駆動の選択を実施することで、DAVIS UVOSランクイングで3位を達成し、低K値でも優れた性能を発揮した。

ABSTRACT

This paper proposes key instance selection based on video saliency covering objectness and dynamics for unsupervised video object segmentation (UVOS). Our method takes frames sequentially and extracts object proposals with corresponding masks for each frame. We link objects according to their similarity until the M-th frame and then assign them unique IDs (i.e., instances). Similarity measure takes into account multiple properties such as ReID descriptor, expected trajectory, and semantic co-segmentation result. After M-th frame, we select K IDs based on video saliency and frequency of appearance; then only these key IDs are tracked through the remaining frames. Thanks to these technical contributions, our results are ranked third on the leaderboard of UVOS DAVIS challenge.

研究の動機と目的

• 最初のフレームマスクなしで、非教師付き動画オブジェクトセグメンテーション（UVOS）における継続的ID割り当ての非効率性と不安定性を解消すること。
• 初期フレームウィンドウの後、追跡対象インスタンス数を固定されたK個に制限することで、時間的・メモリ的複雑度を低減すること。
• 意味的に顕著で頻繁に出現するオブジェクトをキーインスタンスとして選択することで、セグメンテーション品質を向上させること。
• マルチモーダルな類似度スコアを用いて、遮蔽や外観変化に対しても頑健なトラッキングを実現すること。

提案手法

• 本手法は、マスクR-CNNとDeepLabを用いてインスタンスセグメンテーションを実行し、RGMPを用いてマスクを伝搬することで候補マスクを生成する。
• ID割り当ては、IOU、トラジェクトリの整合性、ReID記述子の距離、相対的ReID類似度を組み合わせた重み付きスコアを用いて実施する。
• 新しいIDはフレームMまでにのみ追加され、以降はサリエンシー・頻度重み付きスコアを用いてK個のキーインスタンスを選択する。
• サリエンシーは動画全体のフレームを対象に動画サリエンシースコアを用いて計算され、頻度はフレームMまでに各IDが出現した回数を数える。
• 144台のGPUを用いたメタラーニングシステムにより、最適なハイパーパramータを自動で探索する。
• マルチスケール類似度メトリックは、ReID記述子、予測されたトラジェクトリ、意味的共同セグメンテーションを統合し、外観変化に対する耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 動画サリエンシーと外観頻度は、非教師付き動画オブジェクトセグメンテーションにおけるキーインスタンス選択に有効に活用できるか？
• RQ2 低K値におけるセグメンテーション正確性について、サリエンシー駆動のインスタンス選択はランダム選択に比べてどのように優れているか？
• RQ3 教師データのマスクが存在しない状況下で、ReID記述子とトラジェクトリの整合性はID割り当ての頑健性をどの程度向上できるか？
• RQ4 スケーラブルなハイパーパramータ探索フレームワークは、UVOSベンチマークにおけるモデル性能を向上させられるか？

主な発見

• 提案手法は、DAVIS UVOSバリデーションセットにおいて、グローバル平均JIoUが0.599、F-measureが0.599を達成し、公式ランクイングで3位を記録した。
• K=5の状態でも、グローバル平均が0.576を記録し、ランダム選択（0.474）を著しく上回る性能を示し、極めて少ないインスタンス数でも優れた性能を発揮した。
• 本手法はスケール変化や外観変化に対しても頑健であり、「mbike-trick」と「lab-coat」のようなオブジェクトを、動的なシーンにおいても正常にセグメンテーションできた。
• オプティカルフローではなく意味的共同セグメンテーションを用いることで、大規模な外観変化に対しても性能が向上したことがアブレーション結果で確認された。
• サリエンシー駆動の選択戦略により、時間的・メモリ的複雑度が低減された一方で、特に低K値において高い正確性を維持した。
• Meta AIシステムを用いたハイパーパramータ探索により、最適な重みが得られた：w_iou=0.12, w_traj=0.575, w_reid=0.3, w_rel=0.0065, τ1=0.55, τ2=0.35, w_sal=0.5, w_freq=1.0。