[論文レビュー] Vehicle Re-identification Using Quadruple Directional Deep Learning Features

Jianqing Zhu, Huanqiang Zeng+5 more|arXiv (Cornell University)|Nov 13, 2018

Advanced Neural Network Applications参考文献 15被引用数 11

ひとこと要約

本稿では、視点変化に強い車両再識別を実現するための新規手法である四方向ディープラーニング特徴（QD-DLF）を提案する。この手法は、短いかつ密に接続された畳み込みニューラルネットワーク（CNN）と方向平均プーリング層を用いて、水平、垂直、対角線、反対角線の特徴マップを抽出・統合する。VeRiおよびVehicleIDデータセットにおいて、最先端の性能を達成し、平均平均精度（MAP）およびランク-1識別率の両面で、既存手法を顕著に上回る。

ABSTRACT

In order to resist the adverse effect of viewpoint variations for improving vehicle re-identification performance, we design quadruple directional deep learning networks to extract quadruple directional deep learning features (QD-DLF) of vehicle images. The quadruple directional deep learning networks are with similar overall architecture, including the same basic deep learning architecture but different directional feature pooling layers. Specifically, the same basic deep learning architecture is a shortly and densely connected convolutional neural network to extract basic feature maps of an input square vehicle image in the first stage. Then, the quadruple directional deep learning networks utilize different directional pooling layers, i.e., horizontal average pooling (HAP) layer, vertical average pooling (VAP) layer, diagonal average pooling (DAP) layer and anti-diagonal average pooling (AAP) layer, to compress the basic feature maps into horizontal, vertical, diagonal and anti-diagonal directional feature maps, respectively. Finally, these directional feature maps are spatially normalized and concatenated together as a quadruple directional deep learning feature for vehicle re-identification. Extensive experiments on both VeRi and VehicleID databases show that the proposed QD-DLF approach outperforms multiple state-of-the-art vehicle re-identification methods.

研究の動機と目的

• 実際の監視環境において性能を著しく低下させる視点変化の問題に取り組むこと。
• 複数の方向にわたる車両画像内の構造的特徴を捉えることで、特徴表現を向上させること。
• 方向特徴を統合する深層学習アーキテクチャを設計し、識別力と耐障害性を強化すること。
• 高い再識別精度を達成するとともに、妥当な推論効率を維持すること。

提案手法

• 正方形の車両画像から基本特徴マップを抽出するために、短くかつ密に接続された畳み込みニューラルネットワークを用いる。
• 水平（HAP）、垂直（VAP）、対角線（DAP）、反対角線（AAP）の4つの異なる方向平均プーリング層を用いて、基本特徴マップを方向特徴マップに圧縮する。
• 各方向特徴マップは空間的に正規化され、統合されて統一された四方向ディープラーニング特徴（QD-DLF）を形成する。
• QD-DLF特徴は、再識別タスクにおける異なるカメラ視点間の照合に用いられる。
• 深層学習フレームワークを用いて、多方向特徴の識別力を活かして、モデルをエンドツーエンドで学習する。
• 標準ベンチマークとして、VeRiおよびVehicleIDデータセットを用いて評価を行う。

実験結果

リサーチクエスチョン

• RQ1 複数の方向からの特徴を統合することで、車両再識別における視点変化への耐性が向上するか？
• RQ2 提案手法QD-DLFは、包括的特徴学習法や他の最先端手法と比較して、性能で優れているか？
• RQ3 より深いまたは複雑なアーキテクチャと比較して、QD-DLFモデルの計算効率はいかがなっているか？
• RQ4 方向プーリング層を用いることで、標準的なグローバル平均プーリングと比較して、より優れた識別的特徴表現が得られるか？

主な発見

• 提案手法QD-DLFは、VeRiデータセットで平均平均精度（MAP）92.4%を達成し、次に優れた手法を顕著に上回った。
• VehicleIDデータセットでは、QD-DLFがMAP 88.7%を達成し、データセット間での一般化性能が優れていることを示した。
• F-DLF-256という最も優れた包括的特徴ベースラインと比較して、QD-DLFはMAPを20.84%、ランク-1識別率を8.35%向上させた。
• V-DLFバージョン単体でもF-DLF-256を上回ったことから、方向特徴学習が全結合ベースの包括的特徴学習よりも効果的であることが示された。
• QD-DLFの特徴抽出時間は1画像あたり11.199 msであり、より複雑なモデルであるにもかかわらず、DenseNet121よりも2.448 ms速い。
• QD-DLFモデルは高い効率を維持しており、各方向特徴抽出に約2.3 msしかかかわず、GoogLeNetと同等の速度であり、DenseNet121よりも速い。