[論文レビュー] Weighted Bilinear Coding over Salient Body Parts for Person Re-identification

Zhigang Chang, Qin Zhou+5 more|arXiv (Cornell University)|Mar 22, 2018

Video Surveillance and Tracking Methods参考文献 49被引用数 6

ひとこと要約

本稿では、チャネルワイズな特徴相関をモデル化し、識別的な重要性に基づいて局所特徴を適応的に重み付けすることで、人物再識別における特徴表現を向上させる重み付き双線形符号化（WBC）フレームワークを提案する。空間的アライメントのための顕著な部分ネットワークと統合することで、Market-1501、DukeMTMC-reID、CUHK03で性能が向上し、767/700設定下でMarket-1501で50.1%のランク-1正答率を達成し、最先端の結果を実現した。

ABSTRACT

Deep convolutional neural networks (CNNs) have demonstrated dominant performance in person re-identification (Re-ID). Existing CNN based methods utilize global average pooling (GAP) to aggregate intermediate convolutional features for Re-ID. However, this strategy only considers the first-order statistics of local features and treats local features at different locations equally important, leading to sub-optimal feature representation. To deal with these issues, we propose a novel weighted bilinear coding (WBC) framework for local feature aggregation in CNN networks to pursue more representative and discriminative feature representations, which can adapt to other state-of-the-art methods and improve their performance. In specific, bilinear coding is used to encode the channel-wise feature correlations to capture richer feature interactions. Meanwhile, a weighting scheme is applied on the bilinear coding to adaptively adjust the weights of local features at different locations based on their importance in recognition, further improving the discriminability of feature aggregation. To handle the spatial misalignment issue, we use a salient part net (spatial attention module) to derive salient body parts, and apply the WBC model on each part. The final representation, formed by concatenating the WBC encoded features of each part, is both discriminative and resistant to spatial misalignment. Experiments on three benchmarks including Market-1501, DukeMTMC-reID and CUHK03 evidence the favorable performance of our method against other outstanding methods.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）ベースの人物再識別におけるグローバル平均プーリング（GAP）の特徴表現の劣化を是正する。GAPは特徴相関を無視し、すべての局所特徴を同等に扱う。
• 双線形符号化による高次特徴相互作用をモデル化すると同時に、認識の重要性に基づいて特徴を適応的に重み付けすることで、識別力を向上させる。
• 顕著な部分ネットワークを用いて、自動的に重要な身体部位を特定・注目することで、空間的ミスアライメントの影響を軽減する。
• 既存の最先端のRe-IDモデルに大規模なアーキテクチャ変更なしに統合可能な柔軟な、プラグイン型の特徴集約モジュールを開発する。
• エンドツーエンドで学習可能な形で、顕著な身体部位からのWBC符号化特徴を連結することで、ロバストかつ識別的な外観表現を実現する。

提案手法

• 局所畳み込み特徴のチャネルワイズ相関を捉えるために双線形符号化を適用し、グローバル平均プーリングよりも豊かな高次相互作用をモデル化する。
• 認識の貢献度に基づいてより識別的な局所特徴に高い重要度を割り当てる適応的重み付け方式を導入する。
• 空間的アテンションモジュールとしての顕著な部分ネットワークを統合し、重要な人体部位を自動的に検出し、特徴を抽出することで、空間的ミスアライメントへの感受性を低減する。
• 各顕著な身体部位に対してWBCを独立して適用し、部位固有の識別的特徴を生成する。
• すべての顕著な部位からのWBC符号化特徴を連結して、最終的なロバストでアライメントに強いグローバル表現を構築する。
• トリプレット損失と特徴連結を用いて、全フレームワークをエンドツーエンドで学習し、各部位のアテンションマスクを学習し、特徴の識別性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 双線形符号化によるチャネルワイズ特徴相関のモデル化は、グローバル平均プーリングと比較して、CNNベースの人物再識別特徴の識別力向上に寄与するか？
• RQ2 より情報の多い局所特徴に重点を置く適応的重み付け方式は、Re-IDにおける認識性能の向上に寄与するか？
• RQ3 顕著な部分ネットワークは、重要な身体領域に注目することで、空間的ミスアライメントの影響を効果的に軽減できるか？
• RQ4 WBCと部位ベースの表現を統合することで、標準的なRe-IDベンチマークでの性能向上はどの程度達成されるか？
• RQ5 ラベル付きおよび検出済みバウンディングボックス設定下で、PAN や DPFL といった最先端モデルと比較して、本手法のロバスト性と正確性はどの程度優れているか？

主な発見

• 提案されたWBCフレームワークは、767/700設定下でMarket-1501データセットにおいて50.1%のランク-1正答率と42.1%のmAPを達成し、2番目に優れた手法（DPFL）をランク-1で7.1%、mAPで7.2%上回った。
• 検出済みバウンディングボックス設定下では、ランク-1が47.7%、mAPが43.9%を達成し、2番目に優れた手法（PAN）をランク-1で2.4%、mAPで4.7%上回った。
• WBCモデルは、PCB-RPPのような既存の最先端モデルに統合された場合にも顕著な性能向上を示し、その柔軟性と一般化能力を実証した。
• 顕著な部分ネットワークは、PANで用いられるグローバルパラメータ化された空間変換器よりも優れたアライメントを達成し、ミスアライメントやノイズの多い画像でも性能向上に寄与した。
• 背景の雑音や部分的遮蔽に対してもロバストであるが、衣類のパターンの視覚的類似性やぼやけのため、失敗事例は依然として発生する。
• 手動でラベル付けされた画像では、自動検出された画像よりも一貫して高い性能を示しており、実世界のRe-ID応用において、検出ノイズとミスアライメントが依然として課題であることが示された。