[論文レビュー] Augmented Hard Example Mining for Generalizable Person Re-Identification

Masato Tamura, Tomokazu MURAKAMI|arXiv (Cornell University)|Oct 11, 2019

Video Surveillance and Tracking Methods参考文献 43被引用数 18

ひとこと要約

本稿では、ネットワークアーキテクチャを変更せずに一般化性能を向上させる、シンプルでありながら効果的なデータ拡張戦略である拡張ハード例マイニング（AHEM）を提案する。分類確率を用いてハード例を同定し、多様な拡張を適用した後、分類ベースのフィルタを用いて最も困難でありながら現実的な例のみを選別することで、計算コストを最小限に抑えつつ、複数のベンチマークで最先端の性能を達成する。

ABSTRACT

Although the performance of person re-identification (Re-ID) has been much improved by using sophisticated training methods and large-scale labelled datasets, many existing methods make the impractical assumption that information of a target domain can be utilized during training. In practice, a Re-ID system often starts running as soon as it is deployed, hence training with data from a target domain is unrealistic. To make Re-ID systems more practical, methods have been proposed that achieve high performance without information of a target domain. However, they need cumbersome tuning for training and unusual operations for testing. In this paper, we propose augmented hard example mining, which can be easily integrated to a common Re-ID training process and can utilize sophisticated models without any network modification. The method discovers hard examples on the basis of classification probabilities, and to make the examples harder, various types of augmentation are applied to the examples. Among those examples, excessively augmented ones are eliminated by a classification based selection process. Extensive analysis shows that our method successfully selects effective examples and achieves state-of-the-art performance on publicly available benchmark datasets.

研究の動機と目的

• トレーニング時にターゲットドメインのデータが入手できない状況下で、未観測ドメインにRe-IDモデルを実装するという実用的課題に対処すること。
• デプロイ時におけるターゲットドメインラベルが利用不可であるドメイン一般化（DG）設定において、モデルの一般化性能を向上させること。
• 洗練されたディープネットワークを変更したり、推論時処理を追加したりせずに、性能を向上させること。
• 分類ベースの選択によって不自然な例をフィルタリングすることで、過剰な拡張を回避するデータ拡張戦略を開発すること。

提案手法

• トレーニング中にミニバッチ内の入力画像の分類確率が低い例をハード例として同定する。
• 色のずれ、ランダムクロッピング、回転、水平反転といった多様な拡張タイプを、選別されたハード例に適用して難易度を高める。
• 分類ベースの選択プロセスにより、すべての拡張バージョンを評価し、あまり歪んでいたり現実的でなかったりする例を除外し、最も困難でありながら妥当な例のみを保持する。
• 最終的な選択により、バックプロパゲーションに使用されるのは高品質で分類が難しい例のみとなる。これにより特徴学習が向上する。
• 本手法は即挿し可能である。ネットワークアーキテクチャの変更や追加の推論時処理なしに、標準的なRe-IDトレーニングパイプラインにスムーズに統合可能である。
• 本手法は元のミニバッチに対して標準的なデータ拡張（例：ランダムな水平反転）のみを用いるため、現実性が保たれ、分布シフトが低減される。

実験結果

リサーチクエスチョン

• RQ1 学習を伴わない単純な選択戦略が、Re-IDの一般化性能向上に寄与する有用な拡張ハード例を効果的に同定できるか？
• RQ2 本手法を単独で使用する場合、または標準的なデータ拡張やハード例マイニングと組み合わせた場合、性能はどのように比較されるか？
• RQ3 弱い、中程度、強いといった異なるデータ拡張強度のレベルにおいて、本手法は一貫して頑健性を示すか？
• RQ4 選択戦略は、性能向上を図りながらも、過剰な拡張のリスクをどの程度低減できるか？
• RQ5 アーキテクチャの変更や推論時チューニングを要しない高度に最適化されたモデルに本手法を適用可能か？

主な発見

• VIPeR、PRID、GRID、i-LIDSの各データセットにおいて、それぞれ7.4%、12.0%、15.2%、6.5%のランク-1精度向上を達成し、最先端の性能を実現した。
• 単独でのデータ拡張やハード例マイニングよりも優れた性能を示し、それらの組み合わせをはるかに上回る結果を示しており、選択戦略の有効性が裏付けられた。
• 強いデータ拡張を適用した場合、本手法は性能を維持または向上させる一方で、標準的な拡張では性能が低下する——これは、攻撃的な拡張に対しても頑健であることを示している。
• 強い拡張条件下では、元の（拡張なしの）ハード例が選ばれる確率が上昇する——これは、選択プロセスが過剰に拡張されたバージョンを効果的にフィルタリングしていることを示している。
• 本手法は、4つのベンチマークデータセットすべてで一貫した性能向上を達成しており、一般化能力の高さが確認された。
• 学習率の低下後も選択戦略の効果が保たれている——これは、訓練全体にわたり安定的で信頼性の高いフィルタリング動作が維持されていることを示している。