[論文レビュー] Visual Concepts and Compositional Voting

Jianyu Wang, Zhishuai Zhang+6 more|arXiv (Cornell University)|Nov 13, 2017

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 16

ひとこと要約

本稿では、車両画像の深層ネットワーク活性化から抽出された視覚的概念を、パターン理論的ビジョンモデルの解釈可能な構成要素として用いる構成的投票フレームワークを提案する。事前学習済みネットワークの特徴マップをクラスタリングすることで、意味的に明確な視覚的概念を同定し、それらを画像パターンのスパースで記号的な符号化の一部として利用する。この手法により、特に文脈が敵対的である状況下でも、深層ネットワークやSVMを凌駕する性能を示す生成モデルを実現する。

ABSTRACT

It is very attractive to formulate vision in terms of pattern theory \cite{Mumford2010pattern}, where patterns are defined hierarchically by compositions of elementary building blocks. But applying pattern theory to real world images is currently less successful than discriminative methods such as deep networks. Deep networks, however, are black-boxes which are hard to interpret and can easily be fooled by adding occluding objects. It is natural to wonder whether by better understanding deep networks we can extract building blocks which can be used to develop pattern theoretic models. This motivates us to study the internal representations of a deep network using vehicle images from the PASCAL3D+ dataset. We use clustering algorithms to study the population activities of the features and extract a set of visual concepts which we show are visually tight and correspond to semantic parts of vehicles. To analyze this we annotate these vehicles by their semantic parts to create a new dataset, VehicleSemanticParts, and evaluate visual concepts as unsupervised part detectors. We show that visual concepts perform fairly well but are outperformed by supervised discriminative methods such as Support Vector Machines (SVM). We next give a more detailed analysis of visual concepts and how they relate to semantic parts. Following this, we use the visual concepts as building blocks for a simple pattern theoretical model, which we call compositional voting. In this model several visual concepts combine to detect semantic parts. We show that this approach is significantly better than discriminative methods like SVM and deep networks trained specifically for semantic part detection. Finally, we return to studying occlusion by creating an annotated dataset with occlusion, called VehicleOcclusion, and show that compositional voting outperforms even deep networks when the amount of occlusion becomes large.

研究の動機と目的

• 深層ネットワークの内部表現が、パターン理論的モデリングに有用な意味的な視覚的概念として解釈可能かどうかを調査すること。
• 教師なしで、深層特徴から意味的に一貫性のある視覚的概念を抽出する手法を開発すること。
• これらの視覚的概念が、オクルージョン下での一般化性能を向上させる構成的モデルの構築要素として機能するかを評価すること。
• 視覚的概念に基づく構成的モデルが、SVM や深層ネットワークといった判別的モデルよりも、敵対的オクルージョン条件下で優れた性能を示すという仮説を検証すること。
• 部分検出とオクルージョン耐性の厳密な評価を可能にする新規データセット「VehicleSemanticParts」と「VehicleOcclusion」を構築すること。

提案手法

• PASCAL3D+ 車両データセット上で事前学習済みの深層ネットワークの高レベル特徴マップ（例：層4）をクラスタリングし、視覚的概念を抽出する。
• 512次元の特徴ベクトルに対してk-meansクラスタリングを適用し、視覚的に緊密で意味的に明確な視覚的概念を同定する。
• しきい値に基づくスパース符号化の定義：あるピクセルが視覚的概念に符号化されるのは、その特徴距離が概念の重心からの距離が学習されたしきい値（Tm ≈ 0.7）未満である場合に限る。
• 各画像パッチについて、しきい値を超えて活性化された視覚的概念に基づくバイナリ活性化ベクトルを構築し、空間パターンの記号的表現を可能にする。
• 複数の視覚的概念が組み合わさって意味的パーツを検出する構成的投票モデルを構築し、バイナリ概念活性化の因子化された生成モデルを用いる。
• 実際の複雑さを再現するため、ランダムにオクルーダーを追加した新規データセット「VehicleOcclusion」を用いて、モデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワーク活性化から抽出された視覚的概念は、パターン理論的ビジョンモデルの解釈可能で意味的な構成要素として適しているか？
• RQ2 これらの視覚的概念は、教師あり部分検出器と比較して、正確性と耐性の面でどの程度の性能を示すか？
• RQ3 視覚的概念に基づく構成的モデルは、オクルージョン下でSVM や深層ネットワークといった判別的モデルを上回る性能を示せるか？
• RQ4 特徴を視覚的概念にスパース符号化するための最適なしきい値は何か？ そして、それがパターン表現にどのように影響するか？
• RQ5 オクルージョンがないデータで学習した構成的投票モデルは、敵対的オクルージョン条件下で、深層ネットワークよりも一般化性能が優れているか？

主な発見

• k-meansによるクラスタリングで抽出された視覚的概念は、視覚的に緊密であり、VehicleSemanticParts データセットのヒューマンアノテートの正例と一致し、車両の意味的パーツを表していることが確認された。
• 教師なしで抽出された視覚的概念は、部分検出器として妥当な性能を示すが、オクルージョンのないデータでは教師ありSVMに劣ることがわかった。
• 複数の視覚的概念を組み合わせて部分を検出する構成的投票モデルは、オクルージョンのないデータにおいて、SVM や深層ネットワークを顕著に上回る性能を示した。
• 敵対的オクルージョン条件下では、構成的投票モデルが深層ネットワークを著しく上回った。深層ネットワークは文脈が遮断されると急速に性能を低下させた。
• しきい値 Tm ≈ 0.7 はスパース符号化において極めて重要である：これ未満では符号化されるピクセルが少ないが、これを超えると複数の概念が活性化され、耐性のある記号的表現が可能になる。
• 視覚的概念のスパースバイナリ符号化により、有効な少数の例学習とクラスタリングが可能となり、画像パターンの生成モデリングが簡素化された。