[論文レビュー] Recent Advances in Features Extraction and Description Algorithms: A Comprehensive Survey

Ehab Salahat, Murad Qasaimeh|arXiv (Cornell University)|Mar 19, 2017

Advanced Image and Video Retrieval Techniques被引用数 8

ひとこと要約

本論文は、コンピュータビジョン分野の基盤をなすMSERおよびSIFT——2つの中心的アルゴリズムに焦点を当て、最近の特徴検出および記述アルゴリズムの進展を包括的に調査している。理論的基盤、さまざまな変換下での性能、およびリアルタイム応用に向けた効率性・頑健性・スケーラビリティを向上させるための多数のアルゴリズム的派生手法をレビューしている。

ABSTRACT

Computer vision is one of the most active research fields in information technology today. Giving machines and robots the ability to see and comprehend the surrounding world at the speed of sight creates endless potential applications and opportunities. Feature detection and description algorithms can be indeed considered as the retina of the eyes of such machines and robots. However, these algorithms are typically computationally intensive, which prevents them from achieving the speed of sight real-time performance. In addition, they differ in their capabilities and some may favor and work better given a specific type of input compared to others. As such, it is essential to compactly report their pros and cons as well as their performances and recent advances. This paper is dedicated to provide a comprehensive overview on the state-of-the-art and recent advances in feature detection and description algorithms. Specifically, it starts by overviewing fundamental concepts. It then compares, reports and discusses their performance and capabilities. The Maximally Stable Extremal Regions algorithm and the Scale Invariant Feature Transform algorithms, being two of the best of their type, are selected to report their recent algorithmic derivatives.

研究の動機と目的

• コンピュータビジョン分野における最新の特徴検出および記述アルゴリズムの体系的概要を提供すること。
• 回転、スケーリング、アフィン変換などの実世界の画像変換下での、主なアルゴリズムの性能、頑健性、効率性を分析・比較すること。
• MSERおよびSIFTの最近のアルゴリズム的派生手法を検討し、計算効率、メモリ使用量、頑健性の向上に焦点を当てる。
• リアルタイム処理、解像度、ハードウェア制約といったアプリケーション固有の制約に基づいて、研究者が適切なアルゴリズムを選択できるようにガイドすること。

提案手法

• 特徴検出および記述アルゴリズムを、注目点検出と記述子生成の基本的原理に基づいてサーベイおよび分類すること。
• 標準的な指標（再現性、局所化精度、変換に対する頑健性、計算効率）を用いてアルゴリズムを評価すること。
• 実世界のビジョンタスクで広く使用され、優れた性能を示すとして、MSERおよびSIFTを代表的なアルゴリズムとして焦点化すること。
• MSERおよびSIFTのアルゴリズム的派生手法（ASIFT, CSIFT, n-SIFT, PCA-SIFT, SIFER, SURF）を分析し、不変性および速度の向上を評価すること。
• 並列処理やFPGA/SoCへの移植戦略を含む、ハードウェアに配慮した最適化手法を提示すること。
• 既存のベンチマークと変換モデルを用いて、記述子の次元数、計算時間、頑健性を、バリエーション間で比較すること。

実験結果

リサーチクエスチョン

• RQ1 現代の特徴検出および記述アルゴリズムは、回転、スケーリング、アフィン歪みといった一般的な画像変換下でどのように性能を発揮するか？
• RQ2 MSERおよびSIFTの最近の派生手法が、計算効率および頑健性の面で果たす主な改善は何か？
• RQ3 ハードウェアアクセラレーションおよびアルゴリズム最適化は、リアルタイムビジョンシステムにおける遅延およびメモリ使用量をどの程度低減できるか？
• RQ4 PCA-SIFTにおける次元削減技術（PCA）は、記述子のサイズとマッチング性能にどのように影響を与えるか？
• RQ5 SIFTおよびMSERベースのアルゴリズムにおける、精度・速度・頑健性のトレードオフは何か？それらの派生手法は、これらのトレードオフをどのように解決しているか？

主な発見

• ASIFTはSIFTを上回るアフィン不変性と性能を実現するが、経度・緯度の変化による画像のすべての可能な視点をシミュレートするため、計算負荷が著しく増加する。
• CSIFTは色不変空間で動作することで、ぼかしやアフィン変換下での頑健性が向上するが、照明変化下では頑健性が低下する傾向がある。
• PCA-SIFTは記述子長を3042から20に短縮し、次元削減率が99.3%に達する。これにより、メモリ制限のあるデバイスにも適した性能を維持している。
• SIFERリプレースは、より細粒度のスケールスケール表現とコサイン変調付きガウスフィルタリングを採用することで、特徴の正確性を20%向上させるが、実行時間は2倍に増加する。
• n-SIFTは、超球座標系の勾配と多次元ヒストグラムを用いて、3次元および4次元画像などの多次元データにSIFTを拡張し、高次元空間における効率的な特徴マッチングを可能にしている。
• MSERの並列実装は、顕著な高速化と消費電力の低減を達成しており、多数の米国特許が出願されており、リアルタイム埋め込みビジョンシステムへの応用可能性が強く示唆されている。