[論文レビュー] Improved Image Boundaries for Better Video Segmentation

Anna Khoreva, Rodrigo Benenson+3 more|arXiv (Cornell University)|May 12, 2016

Visual Attention and Saliency Detection参考文献 30被引用数 9

ひとこと要約

本稿では、画像境界検出を画像および時間的ヒントの融合によって向上させることで、グラフベースの動画セグメンテーションを改善し、より高品質なスーパープixelsを生成することで、セグメンテーション精度を向上させるとともに計算コストを低減する。本手法は、オブジェクト提案とオプティカルフローを用いた境界推定の向上により、VSB100およびBMDSデータセットで最先端の結果を達成し、実行時間を45%削減しながら境界再現率を向上させる。

ABSTRACT

Graph-based video segmentation methods rely on superpixels as starting point. While most previous work has focused on the construction of the graph edges and weights as well as solving the graph partitioning problem, this paper focuses on better superpixels for video segmentation. We demonstrate by a comparative analysis that superpixels extracted from boundaries perform best, and show that boundary estimation can be significantly improved via image and time domain cues. With superpixels generated from our better boundaries we observe consistent improvement for two video segmentation methods in two different datasets.

研究の動機と目的

• 初期スーパープixelsの品質がグラフベースの動画セグメンテーション性能に与える影響を調査すること。
• オプティカルフローからの時間的整合性と画像レベルのヒントを用いて、動画フレーム内の境界推定を向上させること。
• 境界に基づくスーパープixelsが動画セグメンテーションタスクにおいて、従来のスーパープixel手法を上回ることを実証すること。
• より良いスーパープixel生成によりグラフノードの数を最小限に抑えることで、動画セグメンテーションの計算コストを低減すること。
• 改善されたスーパープixelsが、異なる動画セグメンテーションフレームワークおよびデータセットに一般化可能であることを可能にすること。

提案手法

• 画像レベルのヒント（例：オブジェクト提案、グローバライズド特徴）とフレームごとの境界マップを融合して、初期境界推定を精緻化すること。
• オプティカルフローと時間的スムージングを統合して、動画フレーム間での境界の一貫性を向上させること。
• 階層的画像セグメンテーションを用いて、改善された境界マップからスーパープixelsを抽出し、境界に正確で時間的に整合性のあるスーパープixelsを優先すること。
• 再トレーニングを伴わずに、既存のグラフベースの動画セグメンテーション手法に改善されたスーパープixelsを入力として適用すること。
• スペクトルクラスタリングおよびグラフ分割技術を用い、最適化されたノード表現でより良いセグメンテーションを実現すること。
• 訓練データにおけるグリッドサーチを用いて境界マップの階層レベルを検証し、セグメンテーション性能を最大化すること。

実験結果

リサーチクエスチョン

• RQ1 初期スーパープixelsの品質が、グラフベースの動画セグメンテーション性能に顕著に影響を与えるか？
• RQ2 オブジェクト提案などの画像レベルのヒントと、オプティカルフローなどの時間的情報を組み合わせることで、境界推定を向上させることができるか？
• RQ3 強化された境界から導出されるスーパープixelsが、より高いセグメンテーション精度および時間的一致性をもたらすか？
• RQ4 提案手法により、性能を維持または向上させながら、動画セグメンテーションの計算負荷を低減できるか？
• RQ5 改善されたスーパープixelsは、異なる動画データセットおよびセグメンテーションフレームワークに一般化可能か？

主な発見

• 提案手法は、2つのデータセット（VSB100およびBMDS）において、BPR指標で4–12%、VPR指標で1–2%の性能向上を達成する。
• 提案されたスーパープixelsを用いることで、1フレームあたりの平均スーパープixels数を310から120に削減し、実行時間およびメモリ使用量を45%削減する。
• 本手法は、VSB100およびBMDSデータセットの両方で最先端の結果を達成し、標準的なスーパープixelsを用いたベースライン手法を上回る。
• ベースライン手法が劣化する困難なケースにおいても、改善効果が顕著で、複雑なシーンに対してもロバストであることが示された。
• オラクルケースでは、固定された階層レベルが、動画ごとの最適選択に近く、本手法のロバスト性を裏付ける。
• 本手法は、[24]の分類器ベースのグラフ構築法を含む、他のグラフベースの動画セグメンテーション手法に対しても直接適用可能であり、計算コストを削減しながら同等の性能を達成する。