[論文レビュー] Bit-Planes: Dense Subpixel Alignment of Binary Descriptors

Hatem Alismail, Brett Browning+1 more|arXiv (Cornell University)|Jan 31, 2016

Advanced Image and Video Retrieval Techniques参考文献 12被引用数 10

ひとこと要約

本稿では、LBPから導出される密度的バイナリ記述子であるビットプレーンを提案し、マルチチャネルのルーカス＆カナーデフレームワーク内でのサブピクセル精度のリアルタイム画像アライメントを可能にする。各ビットプレーンをチャネルとして扱い、最小二乗最適化によるハミング距離の最小化により、最先端の耐障害性と性能を達成する。ラップトップで400 fps以上、モバイルデバイスで120 fps以上を達成しており、明るさの変化やモーションブラーに対しても頑健である。

ABSTRACT

Binary descriptors have been instrumental in the recent evolution of computationally efficient sparse image alignment algorithms. Increasingly, however, the vision community is interested in dense image alignment methods, which are more suitable for estimating correspondences from high frame rate cameras as they do not rely on exhaustive search. However, classic dense alignment approaches are sensitive to illumination change. In this paper, we propose an easy to implement and low complexity dense binary descriptor, which we refer to as bit-planes, that can be seamlessly integrated within a multi-channel Lucas & Kanade framework. This novel approach combines the robustness of binary descriptors with the speed and accuracy of dense alignment methods. The approach is demonstrated on a template tracking problem achieving state-of-the-art robustness and faster than real-time performance on consumer laptops (400+ fps on a single core Intel i7) and hand-held mobile devices (100+ fps on an iPad Air 2).

研究の動機と目的

• 高フレームレートおよびモバイルビジョン応用向けに、効率的で頑健な密度的対応推定手法の不足を解消すること。
• HOG や SIFT のような古典的密度的記述子は、リアルタイム利用に不適切なほど計算コストが高いため、その制限を克服すること。
• 本質的に不連続なバイナリ記述子を勾配ベース最適化に統合するため、それらをマルチチャネル表現としてモデル化すること。
• バイナリ記述子を用いても、明るさの急変化やモーションブラーといった厳しい条件下でも、高速かつサブピクセル精度の追跡を実現すること。

提案手法

• 各ビットプレーンがバイナリ特徴チャネルに対応するLBP記述子のマルチチャネル表現としてビットプレーンを提案する。
• 各ビットプレーンを通常方程式における別々の画像チャネルとして扱うことで、ビットプレーンをルーカス＆カナーデフレームワークに統合する。
• すべてのビットプレーンにわたってハミング距離を最小化するため、標準の最小二乗最適化により正規方程式を解く。
• ビットプレーンの局所的勾配近似が二次形式でよく近似されることを活用し、不連続性にもかかわらず安定した最適化を可能にする。
• CPU上で画像のリサイズおよびワープを効率的に行い、さらなるパフォーマンス向上のためGPUアクセcelerationを想定する。
• テンプレートサイズを小さくすることで、モバイルデバイスでの効率性と頑健性を向上させるため、マルチスケール戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 ハミング距離を最小化するための最小二乗最適化により、不連続な性質を持つLBPのようなバイナリ記述子が、密度的勾配ベース最適化フレームワーク（例：ルーカス＆カナーデ）で効果的に使用可能かどうか。
• RQ2 ビットプレーンのマルチチャネル表現が、最小二乗最小化により安定的かつ正確なサブピクセルアライメントを可能にするか。
• RQ3 ビットプレーンが、消費者用ハードウェアおよびモバイルデバイスでリアルタイムパフォーマンスを達成しつつ、明るさの変化やモーションブラーに対しても頑健であるか。
• RQ4 低テクスチャおよび低照度条件下での速度、精度、耐障害性の観点から、RANSACベースのスパース特徴追跡と比較して、ビットプレーンの性能はどの程度か。

主な発見

• 単一コアのIntel i7ラップトップでは400 fps以上、iPad Air 2では120 fps以上を達成し、コンsumerおよびモバイルハードウェアでもリアルタイム性能を実証した。
• モバイルデバイス上でのORBおよびBRISKを用いたRANSACベースの追跡と比較して、特に低照度およびモーションブラー条件下で優れた性能を示し、失敗率はわずか15%にとどまる一方、特徴ベース手法はより高い失敗率を示した。
• テンプレート解像度を低くすることで、ビットプレーンの追跡速度は2倍以上に向上するが、スパース特徴手法はキーポoin抽出のオーバーヘッドにより、これほど効率的にスケーリングできない。
• すべてのテストシーケンスにおいて、特に明るさの急変化や曖昧なテクスチャ条件下で、オーバーラップベース評価により、追跡成功確率が顕著に優れている。
• マルチチャネルLKPフレームワークは、標準の最小二乗法と同等にハミング距離を最小化でき、記述子の識別力に損なわれることなく、バイナリ記述子の効率的最適化を可能にする。
• 視点歪みおよびモーションブラーに対しても頑健であり、「サンセット」や「ウッド」のような低～中程度のテクスチャを持つ挑戦的なシーケンスでも、高い成功確率を示した。