[論文レビュー] PatternNet: Visual Pattern Mining with Deep Neural Network

Hongzhi Li, Joseph G. Ellis+2 more|arXiv (Cornell University)|Mar 18, 2017

Advanced Image and Video Retrieval Techniques参考文献 27被引用数 8

ひとこと要約

PatternNet は、事前学習された畳み込みニューラルネットワーク（CNN）の最終畳み込み層からのフィルタ出力を活用して、判別性と代表性を兼ね備えた視覚的パターンを発見するディープラーニングフレームワークである。これは、全結合層と新しい損失関数を用いて、視覚的パターン抽出をスパースなフィルタ組み合わせ問題として定式化し、CUB-200で70.0%の精度を達成するなど、細分類画像認識（70.0%の精度）および1画像あたり5つのボクセルボックスでのオブジェクト候補生成において、最先端の性能を発揮した。これは、数千個の候補を必要とする手法を上回る性能を示した。

ABSTRACT

Visual patterns represent the discernible regularity in the visual world. They capture the essential nature of visual objects or scenes. Understanding and modeling visual patterns is a fundamental problem in visual recognition that has wide ranging applications. In this paper, we study the problem of visual pattern mining and propose a novel deep neural network architecture called PatternNet for discovering these patterns that are both discriminative and representative. The proposed PatternNet leverages the filters in the last convolution layer of a convolutional neural network to find locally consistent visual patches, and by combining these filters we can effectively discover unique visual patterns. In addition, PatternNet can discover visual patterns efficiently without performing expensive image patch sampling, and this advantage provides an order of magnitude speedup compared to most other approaches. We evaluate the proposed PatternNet subjectively by showing randomly selected visual patterns which are discovered by our method and quantitatively by performing image classification with the identified visual patterns and comparing our performance with the current state-of-the-art. We also directly evaluate the quality of the discovered visual patterns by leveraging the identified patterns as proposed objects in an image and compare with other relevant methods. Our proposed network and procedure, PatterNet, is able to outperform competing methods for the tasks described.

研究の動機と目的

• 手動によるアノテーションに依存せずに、カテゴリ内に頻出する（代表的である）一方で、異なるカテゴリ間で特徴的である（判別性がある）視覚的パターンを発見する課題に対処すること。
• 高価なパッチサンプリングやボクセルボックスアノテーションを回避して、既存の CNN 特徴を活用して画像コレクションから視覚的パターンを効率的にマイニングする手法を開発すること。
• 学習済みフィルタ応答を直接活用することで、意味のある視覚的構造を特定し、画像分類およびオブジェクト候補タスクの性能を向上させること。
• ボクセルボックスアノテーションを一切使用しないフィルタベースのパターンマイニングが、弱い教師ありまたは完全な教師ありアノテーションを用いた最先端手法と同等の性能を達成できることを示すこと。

提案手法

• PatternNet は、事前学習された CNN の最終畳み込み層のフィルタを、パターン検出器として使用する。各フィルタは特定の視覚的パターンに応答する。
• これらのフィルタのスパースな線形組み合わせを学習する全結合層を導入し、ターゲット画像カテゴリに最も応答するフィルタの集合を特定する。
• 正例画像（ターゲットカテゴリ）では活性化を最大化し、負例画像（他のカテゴリ）では最小化するように設計された新しい損失関数を導入し、判別性の高いパターン発見を促進する。
• 従来のパッチベースのアプローチと比較して、特徴マップの直接分析により、網羅的なパッチサンプリングを回避することで、1桁の高速化を実現する。
• CNN の学習済み特徴を保持するため、ネットワークは全結合層のパラメータのみを更新するエンドツーエンドで訓練される。
• PatternNet は、特徴マップ全体の高活性化領域を特定することでオブジェクト候補を生成し、1画像あたり数十個の高品質なボクセルボックスを出力する。

実験結果

リサーチクエスチョン

• RQ1 事前学習された CNN のフィルタ応答を効果的に組み合わせることで、代表的かつ判別性のある視覚的パターンを発見できるか？
• RQ2 高価な画像パッチサンプリングや手動によるボクセルボックスアノテーションを回避して、視覚的パターンマイニングを効率的に行えるか？
• RQ3 発見された視覚的パターンは、細分類画像認識やオブジェクト候補といった下流タスクでどれほど優れた性能を示すか？
• RQ4 ボクセルボックスアノテーションを一切使用しない状況で、PatternNet は分類およびオブジェクト候補タスクにおいて最先端の手法を上回る性能を発揮するか？

主な発見

• CUB-200 の細分類画像認識ベンチマークにおいて、PatternNet はボクセルボックスアノテーションを一切使用しない比較手法すべてを上回り、トップ-1精度 70.0% を達成した。
• Pascal VOC 2007 のオブジェクト候補タスクにおいて、PatternNet は 1画像あたり 5 個のボクセルボックスで、リCALL率 0.86 および MABO 0.77 を達成し、約 100 個のボクセルボックスを出力する手法を著しく上回った。
• パッチサンプリングを回避することで、従来のアプローチと比較して、1桁の高速化が実現された。
• 主観的評価により、発見されたパターンが視覚的に意味があり、意味的に整合的であることが確認された（例：車輪、ドア、動物の体部など）。
• 同じカテゴリに属する画像間で、独自の視覚的パターンを効果的に特定できており、それらの代表的および判別性の高さが裏付けられた。
• 手動によるボクセルボックスアノテーションや追加の学習データを一切使用しないにもかかわらず、強力な性能を発揮した。これは、弱教師あり応用に適していることを示している。