[論文レビュー] Learning a Hierarchical Compositional Shape Vocabulary for Multi-class Object Representation

Sanja Fidler, Marko Boben+1 more|arXiv (Cornell University)|Aug 23, 2014

Advanced Image and Video Retrieval Techniques参考文献 10被引用数 20

ひとこと要約

本稿では、方向性を持つ輪郭断片から、階層的で構成的な形状語彙を教師なしで学習するボトムアップフレームワークを提案する。このフレームワークは、段階的に複雑化するクラス固有の形状構成へと、輪郭断片を再帰的に組み合わせる。本手法は、語彙サイズと推論複雑度が対数的に増加するため、スケーラブルなマルチクラス物体認識を実現し、高速な推論と短時間の学習を可能にする。

ABSTRACT

Hierarchies allow feature sharing between objects at multiple levels of representation, can code exponential variability in a very compact way and enable fast inference. This makes them potentially suitable for learning and recognizing a higher number of object classes. However, the success of the hierarchical approaches so far has been hindered by the use of hand-crafted features or predetermined grouping rules. This paper presents a novel framework for learning a hierarchical compositional shape vocabulary for representing multiple object classes. The approach takes simple contour fragments and learns their frequent spatial configurations. These are recursively combined into increasingly more complex and class-specific shape compositions, each exerting a high degree of shape variability. At the top-level of the vocabulary, the compositions are sufficiently large and complex to represent the whole shapes of the objects. We learn the vocabulary layer after layer, by gradually increasing the size of the window of analysis and reducing the spatial resolution at which the shape configurations are learned. The lower layers are learned jointly on images of all classes, whereas the higher layers of the vocabulary are learned incrementally, by presenting the algorithm with one object class after another. The experimental results show that the learned multi-class object representation scales favorably with the number of object classes and achieves a state-of-the-art detection performance at both, faster inference as well as shorter training times.

研究の動機と目的

• 手動ラベルなしで複雑な形状構造を捉えることのできるスケーラブルなマルチクラス物体表現の開発。
• フラットなBag-of-Wordsモデルの限界を克服するため、階層的で構成的な形状モデリングの導入。
• 一般化性能と効率性を向上させるために、複数の抽象レベルで物体クラス間で特徴を共有する仕組みの構築。
• 人為的監視を最小限に抑え、手作業で設計された特徴や固定のグループ化ルールを避ける、統計的なボトムアップ手法による形状語彙の学習。

提案手法

• 基本レベルとして、簡単な方向性を持つ輪郭断片を学習し、それらの頻度の高い空間的配置を特定する。
• 空間的関係をガウス分布としてモデル化することで、低レベルの部品を組み合わせ、段階的に複雑化する階層的構造を再帰的に構築する。
• 低レベルはすべての物体クラスで同時に学習され、一般的な形状構造を捉える。高レベルはクラスごとに段階的に学習される。
• 各層で分析窓のサイズが拡大し、空間的解像度が低下することで、マルチスケールの形状モデリングが可能になる。
• 各構成は、前層の部品の分布を捉える生成的確率モデルであり、変形のモデリングが可能になる。
• 本フレームワークは、クラス数の増加に伴い効率的にスケーリングできる階層的でボトムアップの学習プロセスを採用する。

実験結果

リサーチクエスチョン

• RQ1 単純な輪郭断片から、教師なしで階層的かつ構成的な形状語彙を学習し、複数の物体クラスを表現できるか？
• RQ2 フラットな表現と比較して、階層的構成はマルチクラス物体検出における一般化性能と推論効率をどのように向上させるか？
• RQ3 クラス間で共有される特徴は、語彙サイズと学習時間をどれほど削減できるか、同時に高い検出精度を維持できるか？
• RQ4 物体クラスの数が増加しても、本手法は効果的にスケーリングできるか。高速な推論とコンactな表現を維持できるか？

主な発見

• 本手法は、ボトル、ギラファ、マグ、自動車のバリエーションなど、複数の物体クラスで最先端の検出性能を達成した。
• 推論時間はクラス数に対して対数的に増加し、フラットなアプローチを著しく上回った。
• 低レベルでの語彙サイズは対数的に増加し、クラス数の増加に対してもスケーラブルな表現が可能になった。
• 高い検出精度を達成しており、自動車（正面）では0.4 FPPIで97.5%の検出率、牛では96.9%の検出率を記録した。
• 本フレームワークは優れた一般化性能を示し、顔検出ではEERで93.0%のリCALL、人物検出では85.0%のリCALLを達成した。
• 本手法は、手動での部品ラベリングや事前に定義されたグループ化ルールが不要であり、高速な学習と推論が可能になった。