[論文レビュー] Shape Recognition by Bag of Skeleton-associated Contour Parts

Wei Shen, Yuan Jiang+3 more|arXiv (Cornell University)|May 20, 2016

Image Retrieval and Classification Techniques参考文献 35被引用数 4

ひとこと要約

本論文は、骨格の厚さを輪郭断片に関連付けることで、輪郭と骨格の情報を統合する新しい形状記述子、Skeleton-associated Shape Context (SSC) を提案する。Shape Context を厚さ差の次元で拡張することにより、補完的な幾何的特徴を捉え、Bag of Features フレームワークと線形 SVM と組み合わせることで、特に 5 個の厚さビンと 5 個の基準点を最適設定とした場合に、標準形状ベンチマークで最先端の性能を達成する。

ABSTRACT

Contour and skeleton are two complementary representations for shape recognition. However combining them in a principal way is nontrivial, as they are generally abstracted by different structures (closed string vs graph), respectively. This paper aims at addressing the shape recognition problem by combining contour and skeleton according to the correspondence between them. The correspondence provides a straightforward way to associate skeletal information with a shape contour. More specifically, we propose a new shape descriptor. named Skeleton-associated Shape Context (SSC), which captures the features of a contour fragment associated with skeletal information. Benefited from the association, the proposed shape descriptor provides the complementary geometric information from both contour and skeleton parts, including the spatial distribution and the thickness change along the shape part. To form a meaningful shape feature vector for an overall shape, the Bag of Features framework is applied to the SSC descriptors extracted from it. Finally, the shape feature vector is fed into a linear SVM classifier to recognize the shape. The encouraging experimental results demonstrate that the proposed way to combine contour and skeleton is effective for shape recognition, which achieves the state-of-the-art performances on several standard shape benchmarks.

研究の動機と目的

• 輪郭と骨格表現を一貫した方法で統合する課題に取り組むこと。これは、それぞれが異なる構造（閉じたストリング vs. グラフ）によって抽象化されるためである。
• 輪郭点と骨格点の自然な対応関係を活用し、厚さなどの幾何的特徴を輪郭断片に関連付けること。
• 空間的分布と形状部の沿った厚さの変動を両方捉える、より情報量が多く、判別力に優れた形状記述子を開発すること。
• 回転不変性を失わず、輪郭と骨格特徴を統合的に統合するフレームワークを用いて、形状認識性能を向上させること。
• パラメータを最適化した堅牢な手法により、標準形状データセットで最先端の分類精度を達成すること。

提案手法

• 骨格半径情報を使って厚さ差を符号化する第3次元を追加することで、Shape Context を拡張した新しい低レベル記述子、Skeleton-associated Shape Context (SSC) を提案する。
• 各輪郭断片について、厚さの変動に基づいて部分を定義し、3次元テンソル（ユークリッド距離、方向、厚さ差）を用いて各部分ごとに SSC 記述子を計算する。
• 回転不変性を保証するための正規化ステップを実施し、複数スケールでの特徴の集約に Spatial Pyramid Matching (SPM) を用いる。
• 学習済みコードブックを用いた Bag of Features フレームワークを適用し、形状全体にわたる SSC 記述子からグローバルな形状特徴ベクトルを構築する。
• 最終的な特徴ベクトルを用いて線形 SVM 分類器を学習し、形状分類を実行する。
• 動物データセットを用いた消去実験により、主なパラメータ（例：厚さビン数、基準点数、コードブックサイズ）を最適化する。

実験結果

リサーチクエスチョン

• RQ1 輪郭と骨格の間の自然な対応関係を活用して、両方の表現を統合するより情報量の多い形状記述子を構築できるか？
• RQ2 部分レベルで輪郭と骨格特徴を統合することで、判別力を向上させつつ、回転不変性を維持できるか？
• RQ3 認識精度を最大化するために、厚さビン数や基準点数といったパラメータの最適設定は何か？
• RQ4 提案手法は、標準形状認識ベンチマークで最先端の性能を達成するか？
• RQ5 なぜ、骨格が信頼性の低い MPEG-7 クラス（例：'device'）では性能が劣るのか？

主な発見

• 提案された SSC 記述子は、Animal、Caltech-101、MPEG-7 データセットを含む複数の標準形状ベンチマークで最先端の性能を達成する。
• 厚さ差ビン数 $N_{td}$ の最適値は 5 であり、精度と計算コストのバランスが最良で、$N_{td} = 3$ や $N_{td} = 7$ を上回る性能を示す。
• SSC 計算に 5 個の基準点を使用すると、性能と効率のバランスが最良となる。より多くの点を使用すると精度は向上するが、計算コストが著しく増加する。
• コードブックサイズは性能に直接的な影響を及ぼし、500 から 3000 に増加するにつれて精度が向上するが、2000 を超えると収束効果が顕著に現れる。
• MPEG-7 の 'device' クラスでは、骨格の品質が低く構造的に一貫性がないため、性能が著しく劣る。これは、骨格の信頼性に敏感であることを示している。
• 骨格が適切に抽出可能な形状に対しては、本手法は堅牢で効果的であり、SSC を用いた輪郭と骨格の統合により、形状認識精度が顕著に向上することが示された。