[論文レビュー] Feature Descriptors for Tracking by Detection: a Benchmark

Alessandro Pieropan, Mårten Björkman+2 more|arXiv (Cornell University)|Jul 21, 2016

Advanced Image and Video Retrieval Techniques参考文献 18被引用数 8

ひとこと要約

本稿では、検出による追跡のための局所的特徴記述子の包括的ベンチマークを提示しており、独自の特徴記述子（SIFT、ORB、BRISK、AKAZE、KAZE、BRIEFなど）10種類を、特徴の明確さ、追跡精度、速度の観点から評価している。結果として、ORB や BRISK といったバイナリ記述子は、より高いキーポoinト数のおかげで、SIFT や AKAZE と同等の性能を達成していることが判明した。一方、GPU で加速された AKAZE は非線形フィルタリングを採用しているにもかかわらず、リアルタイム性能を達成でき、テクスチャや運動ブラーに強いリアルタイム追跡システムに適している。

ABSTRACT

In this paper, we provide an extensive evaluation of the performance of local descriptors for tracking applications. Many different descriptors have been proposed in the literature for a wide range of application in computer vision such as object recognition and 3D reconstruction. More recently, due to fast key-point detectors, local image features can be used in online tracking frameworks. However, while much effort has been spent on evaluating their performance in terms of distinctiveness and robustness to image transformations, very little has been done in the contest of tracking. Our evaluation is performed in terms of distinctiveness, tracking precision and tracking speed. Our results show that binary descriptors like ORB or BRISK have comparable results to SIFT or AKAZE due to a higher number of key-points.

研究の動機と目的

• 追跡による検出に特化した局所的特徴記述子の性能を評価すること。これは、従来のベンチマークでしばしば無視されてきたタスクである。
• 追跡用途に特化した標準化されたデータセットと評価プロトコルの欠如を是正すること。
• SIFT や他の記述子と公平に比較できるよう、AKAZE 記述子のGPU最適化実装を提供すること。
• 将来の研究を支援するため、統合されたトラッカーと公開コードを備えた再利用可能な評価フレームワークを提供すること。
• 運動ブラー、部分的遮蔽、照明変化といった実世界の課題下での追跡性能に基づいて、実践者が記述子を選択できるようにガイドすること。

提案手法

• 既存の追跡データセットから47本の動画シーケンスを収集し、標準化されたフォーマットで真値のバウンディングボックスをアノテートした。
• 10種類の広く使われている特徴記述子（SIFT、ORB、BRISK、AKAZE、KAZE、BRIEF など）を、最先端のキーポイントベースの2次元トラッカーに統合した。
• 最初のフレームにおける特徴マッチングから得られるリCALL-精度曲線を用いて、特徴の明確さを評価した。
• 全シーケンスにわたり、低・中・高精度の閾値を設定し、オーバーラップ精度（IoU）を用いて追跡精度を測定した。
• CPU および GPU 実装を用いて、検出・抽出・マッチングの各ステップの実行時間をプロファイルした。
• AKAZE のCUDAベース実装を実装し、GPU 上での性能を評価。GPU最適化されたSIFTとの比較も行った。

実験結果

リサーチクエスチョン

• RQ1 検出による追跡パイプラインで使用された際、異なる局所的特徴記述子は、特徴の明確さ、追跡精度、速度の観点でどのように性能を発揮するか？
• RQ2 ORB や BRISK といったバイナリ記述子は、リアルタイム追跡シナリオにおいて、SIFT や AKAZE と同等の性能を達成できるか、その程度はいかほどか？
• RQ3 GPU での加速は、SIFT とは異なり非線形フィルタリングを採用する AKAZE のような記述子の性能に、どのように影響を与えるか？
• RQ4 運動ブラー、遮蔽、スケール変化、照明変動といった一般的な追跡課題に対して、どの記述子が最も頑健であるか？
• RQ5 GPU最適化されたAKAZE実装は、高い特徴の明確さと追跡精度を維持しつつ、リアルタイム性能を達成できるか？

主な発見

• ORB や BRISK といったバイナリ記述子は、より多くのキーポイントが検出されるため、SIFT や AKAZE と同等の追跡精度を達成している。
• AKAZE と SIFT は、小〜中程度の物体変形や運動ブラーの下でも、優れた特徴の明確さと追跡性能を示している。
• AKAZE はスケール変化や明るさの変化に対して特に感受性が高く、低テクスチャの物体やカメラと物体の距離が一定のシーケンスでは良好に動作する。
• ORB や BRISK は高い運動ブラーに強く、カメラや物体の大きな動きがあるシーケンスでは、SIFT や AKAZE を上回る性能を示している。
• GPUで加速されたAKAZE実装は、GPU最適化されたSIFTと同等の性能を達成しており、非線形フィルタリング手法がGPU上で効果的に並列化可能であることを示している。
• すべての評価コード、データセット、CUDAベースのAKAZE実装は公開されており、再現性と将来のベンチマークに貢献する。