[論文レビュー] Group Invariant Deep Representations for Image Instance Retrieval

Olivier Morère, Antoine Veillard+4 more|arXiv (Cornell University)|Jan 9, 2016

Advanced Image and Video Retrieval Techniques参考文献 16被引用数 11

ひとこと要約

本論文は、不変性理論を用いて、畳み込みニューラルネットワーク（CNN）からコンパクトで群不変な深層グローバル記述子を生成する新規手法を提案する。これにより、回転、平行移動、スケーリングなどの変換に対しても頑健な画像インスタンス検索が可能になる。この手法は、UKBenchでベースライン比最大86%の高い精度向上を達成するとともに、低次元性を維持し、過学習を抑えつつさまざまなデータセットに一般化する。

ABSTRACT

Most image instance retrieval pipelines are based on comparison of vectors known as global image descriptors between a query image and the database images. Due to their success in large scale image classification, representations extracted from Convolutional Neural Networks (CNN) are quickly gaining ground on Fisher Vectors (FVs) as state-of-the-art global descriptors for image instance retrieval. While CNN-based descriptors are generally remarked for good retrieval performance at lower bitrates, they nevertheless present a number of drawbacks including the lack of robustness to common object transformations such as rotations compared with their interest point based FV counterparts. In this paper, we propose a method for computing invariant global descriptors from CNNs. Our method implements a recently proposed mathematical theory for invariance in a sensory cortex modeled as a feedforward neural network. The resulting global descriptors can be made invariant to multiple arbitrary transformation groups while retaining good discriminativeness. Based on a thorough empirical evaluation using several publicly available datasets, we show that our method is able to significantly and consistently improve retrieval results every time a new type of invariance is incorporated. We also show that our method which has few parameters is not prone to overfitting: improvements generalize well across datasets with different properties with regard to invariances. Finally, we show that our descriptors are able to compare favourably to other state-of-the-art compact descriptors in similar bitranges, exceeding the highest retrieval results reported in the literature on some datasets. A dedicated dimensionality reduction step --quantization or hashing-- may be able to further improve the competitiveness of the descriptors.

研究の動機と目的

• 回転やスケーリングなどの一般的な物体変換に対してCNNベースのグローバル記述子の頑健性が不足しているという問題に対処すること。
• 数学的に根拠のある理論を用いて、複数の変換群（例：回転、平行移動、スケーリング）の不変性をCNNベースのグローバル記述子に統合する手法を開発すること。
• 既存の最先端手法と同等のビットレートで検索精度を上回る、コンパクトで低次元の記述子を生成すること。
• 異なる不変性特性を示す多様なデータセット間で一般化できることを示し、過学習のリスクを最小限に抑えること。
• 統計的プーリング（例：平均、分散、高次モーメント）が不変性と性能をどのように向上させるかを検証すること。

提案手法

• 本手法は、CNN特徴（特にpool5層）に不変性理論（i-theory）を適用し、変換群への不変性を強制する。
• スケール（G_S）、平行移動（G_T）、回転（G_R）の各変換群ごとに、入力画像の変換バージョンにわたる統計モーメント（例：平均、2次モーメント、無限次モーメント）を計算する。
• これらのプールド特徴を複数の変換群にわたってスタックすることで、コンパクトで不変なグローバル記述子が構成される。
• 本手法はi-theoryと互換性のある順方向ネットワーク構造を採用しており、不変性学習のための誤差逆伝播を必要としない。
• 任意の変換群と統計モーメントの組み合わせをサポートし、実験的に最適な構成（例：A_GS–S_GT–M_GR）を同定する。
• コンパクトなバイナリハッシュを生成するために、単純なしきい値ベースのバイナリゼーション手順を適用する。

実験結果

リサーチクエスチョン

• RQ1 数学的枠組みを用いて、複数の変換群（回転、平行移動、スケーリング）への不変性をCNNベースのグローバル記述子に効果的に統合できるか？
• RQ2 高次統計モーメント（例：平均、分散、無限次モーメント）を組み込むことで、グローバル記述子の頑健性と性能が向上するか？
• RQ3 得られた記述子は、不変性特性が異なる多様な画像検索データセットに一般化できるか？
• RQ4 本手法の性能は、ビットレート効率を考慮した場合、最先端のコンパクト記述子と比較してどうなるか？
• RQ5 追加のハイパーパrameterを導入しても、過学習に対して十分に頑健であるか？

主な発見

• UKBenchデータセット（回転画像を多数含む）において、本手法はベースラインのpool5記述子と比較して、最大86%の精度向上を達成した。
• 最適な統計モーメント（A_GS–S_GT–M_GR）を用いてスケール、平行移動、回転の3つの変換群を統合した場合、全データセットでベースラインのpool5記述子比平均41%の向上を達成した。
• データセットに応じて、pool5記述子比29%から86%の性能向上を達成し、回転ばらつきが大きいデータセットでより顕著な向上が見られた。
• 最高性能を示した記述子A_GS–S_GT–M_GRは、fc6と比較して平均mAPで26%向上したが、表現サイズは256倍も小さかった。
• 単純なバイナリゼーション手順により生成された512ビットハッシュは、pool5記述子と比較して39%高い性能を示し、同レベルのビットレートにおける他の最先端コンパクト記述子と競合可能な性能を示した。
• 本手法はデータセット間で良好に一般化され、データセット固有の不変性特性にかかわらず一貫した向上を示しており、過学習のリスクが低いことが示された。