[論文レビュー] Temporal Model Adaptation for Person Re-Identification

Niki Martinel, Abir Das+2 more|arXiv (Cornell University)|Jul 25, 2016

Video Surveillance and Tracking Methods参考文献 34被引用数 13

ひとこと要約

本論文は、最小限の人的ラベル作成で段階的学習が可能な人物再識別のための時系列的モデル適応フレームワークを提案する。確率的ADMMに基づく類似・非類似度度量学習手法と、最も情報量の多いプローブ・ギャラリー対を特定するグラフベースのアクティブラーニング戦略を組み合わせることで、3つのデータセットで最先端の性能を達成した。人的ラベル作成量を15%に抑えた状態で、PRID450Sでは従来の完全ラベル学習手法と比較してランク1精度を8%以上向上させ、ラベル作成コストを80%削減した。

ABSTRACT

Person re-identification is an open and challenging problem in computer vision. Majority of the efforts have been spent either to design the best feature representation or to learn the optimal matching metric. Most approaches have neglected the problem of adapting the selected features or the learned model over time. To address such a problem, we propose a temporal model adaptation scheme with human in the loop. We first introduce a similarity-dissimilarity learning method which can be trained in an incremental fashion by means of a stochastic alternating directions methods of multipliers optimization procedure. Then, to achieve temporal adaptation with limited human effort, we exploit a graph-based approach to present the user only the most informative probe-gallery matches that should be used to update the model. Results on three datasets have shown that our approach performs on par or even better than state-of-the-art approaches while reducing the manual pairwise labeling effort by about 80%.

研究の動機と目的

• 時間経過に伴い継続的に収集される視覚的データに適応する人物再識別モデルの構築に課題を解決する。
• 新しいデータでモデルを更新する際に通常必要とされる高コストな人的ラベル作成を低減する。
• 再訓練を再び行わずに継続的なモデル改善を可能とし、長期的な性能安定性を確保する。
• 人的ラベル作成の効率を最大化するために、最も情報量の多いプローブ・ギャラリー対を特定・優先順位付けする。
• 人的アノテーションの努力を最小限に抑えながら、最先端の手法と同等またはそれ以上の性能を達成する。

提案手法

• 類似および非類似画像ペアの両方に対して判別的な埋め込みを学習できる、低ランクスパース類似・非類似度度量学習手法を提案する。
• 確率的交替方向乗数法（ADMM）最適化を用いて、効率的なオンライン更新が可能な段階的度量モデルの訓練を行う。
• 各プローブに対して最も情報量の多いギャラリー候補を特定するため、ドミナントセットクラスタリングを用いたグラフベースのアクティブラーニング戦略を導入する。
• 人的ラベル作成に必要な努力を削減しつつ、モデルの改善を最大化するために、最も曖昧または高い不確実性を持つプローブ・ギャラリー対のみを選択する。
• マッチングスコアを確率にキャリブレーションするためのプラットスケーリングを用い、アクティブラーニングループにおけるペア選択を支援する。
• 選択されたペアに対する人的フィードバックを統合し、モデルを段階的に更新することで、環境変化への耐性と適応性を確保する。

実験結果

リサーチクエスチョン

• RQ1 人的ラベル作成を最小限に抑え、段階的更新のみで人物再識別モデルを効果的に時間経過に伴って適応できるか？
• RQ2 人的ラベル作成の努力を最小限に抑えつつ、モデルの改善を最大化するため、最も情報量の多いプローブ・ギャラリー対を自動で特定する方法は何か？
• RQ3 グラフ分割と不確実性推定に基づくアクティブラーニング戦略は、ランダム選択や完全な教師ありラベル作成に比べ、精度とラベル作成効率の両面で優れているか？
• RQ4 確率的ADMMを用いた段階的学習は、バッチ学習と比較して性能を維持または向上させつつ、計算コストを削減できるか？
• RQ5 モデルは人的ラベル作成ミスに対してどれほど耐性を示すか？また、誤差率が上昇した場合、ラベル作成の努力はどの程度増加するか？

主な発見

• 提案手法は、人的ラベル作成量を5%に抑えた状態でVIPeRデータセットでランク1精度41.46%を達成し、完全教師ありベースライン（39.87%）を上回った。
• PRID450Sデータセットでは、15%のラベルデータで学習した場合、従来の最高性能を8%以上上回り、100%ラベルデータで学習した最先端手法をも凌駆した。
• グラフベースのアクティブラーニング戦略により、完全ラベル作成に比べて人的ラベル作成量を約80%削減したが、性能は維持または向上させた。
• 確率的ADMMに基づくトレーニングは、決定的ADMM（ランク134.84）と同等の性能（ランク135.15）を達成したが、トレーニング時間は大幅に短縮された（2948秒 vs 12051秒）、継続的学習に適している。
• 人的ラベル作成ミスが15%まで許容されてもモデルの有効性が保たれ、実運用におけるノイズの多いフィードバックに対しても耐性があることが示された。
• 教師なしまたは半教師ありの選択基準を用いた場合、誤ラベル率が高く、性能が著しく低下した。これにより、提案されたアクティブラーニングアプローチの優位性が確認された。