[論文レビュー] Rethinking Person Re-Identification with Confidence.

George Adaimi, S. Kreiss+1 more|arXiv (Cornell University)|Jun 11, 2019

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本稿では、ラベルスムージング、信頼度ペナルティ、およびディープ変動的情報ボトルネックを用いて交差エントロピー損失を変更することで、人物再識別における信頼度に配慮した表現学習フレームワークを提案する。この手法は、手作業で作成された特徴量に依存せずに、3つの公開データセットで再識別性能を向上させ、予測信頼度を明示的にモデル化することで、最先端の手法を上回る性能を達成する。

ABSTRACT

A common challenge in person re-identification systems is to differentiate people with very similar appearances. The current learning frameworks based on cross-entropy minimization are not suited for this challenge. To tackle this issue, we propose to modify the cross-entropy loss and model confidence in the representation learning framework using three methods: label smoothing, confidence penalty, and deep variational information bottleneck. A key property of our approach is the fact that we do not make use of any hand-crafted human characteristics but rather focus our attention on the learning supervision. Although methods modeling confidence did not show significant improvements on other computer vision tasks such as object classification, we are able to show their notable effect on the task of re-identifying people outperforming state-of-the-art methods on 3 publicly available datasets. Our analysis and experiments not only offer insights into the problems that person re-id suffers from, but also provide a simple and straightforward recipe to tackle this issue.

研究の動機と目的

• 人物再識別システムにおいて、外見が非常に似通った人物を区別する課題に対処すること。
• 再識別における表現学習における標準的な交差エントロピー最小化の限界を克服すること。
• トレーニング中に予測信頼度を明示的にモデル化することで、モデルの一般化性能を向上させること。
• 補助的な人間が定義した特徴量やメタデータに依存せず、監視信号のみに依存する学習フレームワークを開発すること。

提案手法

• 真のラベルをなめらかにすることで、モデルが予測に対して過剰に自信を持つのを防ぐ。
• 不確実なサンプルに対して過剰に自信を持つのを避けるように正則化する信頼度ペナルティ項を導入する。
• 識別に必要な特徴量とノイズや関係のない変動を分離するため、ディープ変動的情報ボトルネックを統合する。
• これらの3つの要素を統合した一貫性のあるトレーニング目的関数を構築し、表現品質と一般化性能を向上させる。
• 変更された損失関数を用いてエンドツーエンドでモデルを学習し、再識別に適した堅牢で信頼度に配慮した特徴量を学習する。
• 補助的な人間が定義した特性に依存せず、予測信頼度に注目した監視を行う。

実験結果

リサーチクエスチョン

• RQ1 非常に似通った外見を持つ人物が存在する状況下で、予測信頼度の明示的モデル化が人物再識別性能を向上させ得るか？
• RQ2 ラベルスムージングや信頼度ペナルティのような信頼度に配慮した損失部品は、再識別における表現学習にどのように影響するか？
• RQ3 一般のコンピュータビジョンタスク（例：画像分類）では性能が劣る信頼度モデル化技術が、なぜ人物再識別では顕著な向上を示すのか？
• RQ4 手作業で作成された属性やメタデータを一切使用しない状況で、信頼度モデル化は再識別性能をどの程度向上させ得るか？

主な発見

• 提案された信頼度に配慮したフレームワークは、3つの公開済み人物再識別データセットで最先端の手法を上回る性能を達成する。
• ラベルスムージング、信頼度ペナルティ、およびディープ変動的情報ボトルネックが、モデルの堅牢性と一般化性能を総合的に向上させる。
• 手作業で作成された人間の特性や属性に依存しないにもかかわらず、顕著な性能向上を達成する。
• フレームワークは、同一人物同士の外見の類似度が非常に高いことから、信頼度モデル化が特に有効であることを示している。
• 実験により、信頼度に配慮したトレーニングは過剰な自信を低減させ、ハードネガティブサンプルにおける特徴の識別能を向上させることを示している。
• 予測信頼度の監視を改善することで再識別性能を向上させる、シンプルで効果的な手法を提供する。