[論文レビュー] Real-Time Salient Closed Boundary Tracking via Line Segments Perceptual Grouping

Xuebin Qin, Shida He+4 more|arXiv (Cornell University)|Apr 30, 2017

Advanced Vision and Imaging参考文献 12被引用数 4

ひとこと要約

本稿では、線分の知覚的グループ化を用いて、動画内における顕著な閉じた境界をリアルタイムで追跡する手法を提案する。デラウニ三角形分割されたグラフ上で、新規の双方向最短経路（BDSP）アルゴリズムを用い、グループ化コストと面積類似性制約を組み合わせることで、テクスチャの欠落した物体や非平面な輪郭に対しても、頑健でリアルタイムの追跡を実現した。実験ではロボットの注ぎ口実験と、9,598フレームからなる新規データセットを用いて検証された。

ABSTRACT

This paper presents a novel real-time method for tracking salient closed boundaries from video image sequences. This method operates on a set of straight line segments that are produced by line detection. The tracking scheme is coherently integrated into a perceptual grouping framework in which the visual tracking problem is tackled by identifying a subset of these line segments and connecting them sequentially to form a closed boundary with the largest saliency and a certain similarity to the previous one. Specifically, we define a new tracking criterion which combines a grouping cost and an area similarity constraint. The proposed criterion makes the resulting boundary tracking more robust to local minima. To achieve real-time tracking performance, we use Delaunay Triangulation to build a graph model with the detected line segments and then reduce the tracking problem to finding the optimal cycle in this graph. This is solved by our newly proposed closed boundary candidates searching algorithm called "Bidirectional Shortest Path (BDSP)". The efficiency and robustness of the proposed method are tested on real video sequences as well as during a robot arm pouring experiment.

研究の動機と目的

• 従来のトラッカーがテクスチャの欠落した領域、非剛体性、照明変化の影響を受けるため失敗する、非構造的で現実世界のシーンにおける顕著な閉境界の追跡という課題に対処すること。
• 局所的最適解に敏感でない、安定したテクスチャや3次元モデルに依存しないリアルタイムで頑健な追跡手法を開発すること。
• ロボットビジョン応用、特に動くボウルに従って注ぎ込む際のように、正確な3次元中心推定に安定した境界追跡が不可欠な状況において、信頼性の高い境界追跡を可能にすること。
• 多様で挑戦的な境界追跡シナリオを含む、9,598フレームからなる新規ベンチマーク動画データセットを構築すること。

提案手法

• 各動画フレームにおいて線分検出アルゴリズムを用いて線分を検出し、線分の端点を基にデラウニ三角形分割によりグラフを構築する。
• 効率的な最適閉境界サイクル探索のため、新規の双方向最短経路（BDSP）アルゴリズムを提案する。
• 境界の連続性を確保する知覚的グループ化コストと、連続するフレーム間の面積類似性を強制する正則化項を組み合わせた追跡基準を採用し、頑健性を向上させる。
• グラフモデルは段階的に構築され、BDSPアルゴリズムにより境界探索が変換されたグラフ構造上の最短経路問題に還元される。
• キネクトセンサーを用いて2次元で追跡された境界点を3次元座標にマッピングし、ロボットアーム制御のための3次元重心推定を可能にする。
• C++、OpenCV、Boostを用いて実装され、標準的なハードウェアでもリアルタイム性能を達成している。

実験結果

リサーチクエスチョン

• RQ1 線分の知覚的グループ化は、テクスチャの欠落、非平面、ごみだらけのシーンにおいて、顕著な閉境界を頑健にリアルタイムで追跡可能か？
• RQ2 グループ化コストと面積類似性制約をどのように組み合わせることで、局所的最適解や外観変化に対する追跡の頑健性を向上させられるか？
• RQ3 新規のBDSPアルゴリズムを用いたグラフベース最適化は、GPUや複雑なモデルに依存せずに、閉境界追跡においてリアルタイム性能を達成可能か？
• RQ4 本手法は、動くボウルの追跡という実際のロボットアプリケーションにおいて、正確な注ぎ込みを可能にするか？
• RQ5 本手法は、RKLT、ESM、HoughTrack、RRCといった最先端のトラッカーと比較して、挑戦的な現実世界の動画シーケンスにおいて優れているか？

主な発見

• ベンチマークデータセット上で平均54.12 fpsのフレームレートを達成し、大部分のシーケンスで1フレームあたり10 ms未満の処理時間を実現した。これにより、リアルタイム性能が確認された。
• 9つの動画シーケンスにおいて、RKLT、ESM、HoughTrack、RRCを上回る追跡成功率を達成した。特にテクスチャの欠落した状況や非平面な形状のケースで顕著であった。
• ロボットアームの注ぎ口実験では、ボウルの2次元縁を追跡し、それを3次元重心にマッピングすることで、正確なシリアル注ぎを実現した。
• BDSPアルゴリズムにより、'Mark cup'シーケンスで平均5.07 ms、'book stand'シーケンスで平均3.79 msのグループ化処理時間を実現し、全テストシーケンスで高い効率性を示した。
• 本手法は、非ラムベールト面、非剛体的変形、視点変化に対しても頑健であることが示され、従来のトラッカーが失敗する状況でも有効であった。
• 多様な境界タイプを含む9,598フレームからなる新規データセットは、将来的な境界追跡手法の評価に貴重なベンチマークを提供する。