[論文レビュー] Matching objects across the textured-smooth continuum

Ognjen Arandjelović|arXiv (Cornell University)|Jun 14, 2013

Advanced Image and Video Retrieval Techniques参考文献 9被引用数 5

ひとこと要約

本論文は、視点の変化に伴う3Dオブジェクトマッチングのための新規手法を提案し、相対的重みのデータ固有の学習を用いてテクスチャと形状特徴を統合する。テクスチャにSIFTベースの視覚的単語を、顕著な形状に境界法線方向の新しい局所記述子を組み合わせたヒストグラムベースの表現を導入し、視点の変化が大きい状況でも、純粋なテクスチャ的または形状的アプローチを著しく上回る性能を発揮する。

ABSTRACT

The problem of 3D object recognition is of immense practical importance, with the last decade witnessing a number of breakthroughs in the state of the art. Most of the previous work has focused on the matching of textured objects using local appearance descriptors extracted around salient image points. The recently proposed bag of boundaries method was the first to address directly the problem of matching smooth objects using boundary features. However, no previous work has attempted to achieve a holistic treatment of the problem by jointly using textural and shape features which is what we describe herein. Due to the complementarity of the two modalities, we fuse the corresponding matching scores and learn their relative weighting in a data specific manner by optimizing discriminative performance on synthetically distorted data. For the textural description of an object we adopt a representation in the form of a histogram of SIFT based visual words. Similarly the apparent shape of an object is represented by a histogram of discretized features capturing local shape. On a large public database of a diverse set of objects, the proposed method is shown to outperform significantly both purely textural and purely shape based approaches for matching across viewpoint variation.

研究の動機と目的

• テクスチャありと滑らかなオブジェクトを別々のケースとして扱う既存手法の制限を解消し、テクスチャから滑らかさへの連続的変化を捉えるオブジェクト外観のモデル化を行う。
• キーポイントベースの手法がテクスチャが滑らかなオブジェクトで失敗するのを回避するため、オブジェクト境界からの顕著な形状特徴を活用する。
• 視点の変化に強い認識性能を向上させるために、テクスチャと形状記述子を統合する統一表現を開発する。
• 識別性能を最大化するために、データ固有の方法でテクスチャと形状マッチングスコア間の最適な統合重みを学習する。
• 本手法の有効性を、さまざまな視点条件下で変動する多様で公開可能なオブジェクトデータベース上で示す。

提案手法

• 顕著な画像領域から抽出したSIFTベースの視覚的単語のヒストグラムを用いてテクスチャを表現する。
• 局所境界法線の方向に基づく新しい局所形状記述子を定義し、顕著な形状セグメントを捉える。
• 2次元画像における特徴点検出に類似した方法を用いて、境界特徴に焦点を当てた顕著な形状セグメントを検出する。
• 離散化された局所境界法線方向からなる形状語彙を構築し、ヒストグラム表現を形成する。
• 識別性能を最適化するために、学習されたデータ固有の重み付け方式を用いてテクスチャと形状マッチングスコアを統合する。
• 合成的に歪められたトレーニングデータ（異なる視点差を有する）上で認識精度を最適化することで、統合重みを学習する。

実験結果

リサーチクエスチョン

• RQ1 視点の変化に伴う3Dオブジェクト認識を向上させるために、テクスチャと形状特徴をどのように統合的にモデル化できるか？
• RQ2 オブジェクト認識におけるテクスチャと形状の相対的寄与度は何か？ これはデータセットごとに学習可能か？
• RQ3 両モダリティを統合した統一表現は、純粋なテクスチャ的または形状的アプローチを上回る性能を発揮できるか？
• RQ4 トレーニング画像とクエリ画像間の視点差が増加するに従って、提案手法の性能はどのように変化するか？
• RQ5 境界法線方向に基づくヒストグラムベースの形状記述子は、滑らかなオブジェクトの判別に有効な形状情報を効果的に捉えることができるか？

主な発見

• 提案手法により、20°のヨー差下で、形状のみ（40.1%）およびテクスチャのみ（26.8%）のランク1誤差率が11.9%に低下した。
• 30°のヨー差下では、テクスチャのみ（10.0%）および形状のみ（15.4%）のランク1誤差率が、統合により3.6%に低下した。
• 大きな視点変化（約60°）では、統合手法が単一モダリティよりも正しく認識される確率をほぼ2倍に高めた。
• ランクしきい値が上昇するに従って、テクスチャのみと形状のみの手法間の性能差が拡大しており、統合が高ランクでの認識で特に有効であることが示された。
• 60°のヨー差下で、ランク1認識率は76.6%に達し、テクスチャのみ（23.4%）および形状のみ（20.6%）のベースラインを著しく上回った。
• 学習された統合重みはデータに適応して効果的に機能し、ALOIデータセットではテクスチャがより識別に優れていることが示された。これは、テクスチャから滑らかさへの連続的変化のうち、テクスチャに近い側に位置するデータセットであることを裏付けている。