[論文レビュー] Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval

Zhaopeng Dou, Zhongdao Wang+3 more|arXiv (Cornell University)|Oct 24, 2022

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本稿では、データの不確実性（サンプルの品質）とモデルの不確実性（予測の信頼性）を統合的なネットワーク内で同時にモデル化することで、予測の信頼性を向上させる、人物再識別における新たな手法である不確実性対応学習（UAL）を提案する。サンプリングを不要とするデータ不確実性学習とベイジアンパラメータ推定を用いることで、単一クエリ、マルチクエリ、リスク制御付きの設定において性能が向上し、3つのベンチマークで最先端の結果を達成するとともに、低品質なクエリに対して高いロバスト性を示す。

ABSTRACT

Current person image retrieval methods have achieved great improvements in accuracy metrics. However, they rarely describe the reliability of the prediction. In this paper, we propose an Uncertainty-Aware Learning (UAL) method to remedy this issue. UAL aims at providing reliability-aware predictions by considering data uncertainty and model uncertainty simultaneously. Data uncertainty captures the ``noise" inherent in the sample, while model uncertainty depicts the model's confidence in the sample's prediction. Specifically, in UAL, (1) we propose a sampling-free data uncertainty learning method to adaptively assign weights to different samples during training, down-weighting the low-quality ambiguous samples. (2) we leverage the Bayesian framework to model the model uncertainty by assuming the parameters of the network follow a Bernoulli distribution. (3) the data uncertainty and the model uncertainty are jointly learned in a unified network, and they serve as two fundamental criteria for the reliability assessment: if a probe is high-quality (low data uncertainty) and the model is confident in the prediction of the probe (low model uncertainty), the final ranking will be assessed as reliable. Experiments under the risk-controlled settings and the multi-query settings show the proposed reliability assessment is effective. Our method also shows superior performance on three challenging benchmarks under the vanilla single query settings.

研究の動機と目的

• 既存の人物再識別手法が、予測の信頼性や品質を示さずに予測を提供するという点の信頼性評価の欠如に対処する。
• トレーニング中に低品質で曖昧なサンプルの影響を軽減するため、不確実性に基づく適応的サンプルウェイトを用いて、モデルのロバスト性を向上させる。
• データ不確実性（サンプルに内在するノイズ）とモデル不確実性（モデルの信頼性）を統合的に1つのフレームワークに組み込むことで、信頼性に配慮したランク付けを実現する。
• クエリ品質が著しく異なるマルチクエリおよびリスク制御付きのリtrieval設定において、効果的な信頼性評価を可能にする。
• 外部の教師信号や複雑なサンプリング手順を必要とせず、精度と信頼性の両方を向上させることを実証する。

提案手法

• トレーニング中にサンプルに適応的ウェイトを割り当てるために、潜在特徴分布の分散を直接回帰することで、サンプリングを不要とするデータ不確実性学習手法を提案する。
• ネットワークパラメータがベルヌーイ分布に従うものと仮定することで、ベイジアンニューラルネットワークフレームワークを用いてモデル不確実性をモデル化する。
• データ不確実性とモデル不確実性を統合的なネットワークアーキテクチャに統合し、両方の不確実性タイプをエンドツーエンドで同時に学習可能にする。
• 潜在ガウス分布の平均を特徴表現として用い、分散をデータ不確実性の指標とする。
• 推論時にT回のサンプリングステップを用いたモンテカルロドロップアウトを実施し、複数回の順方向伝搬の分散としてモデル不確実性を推定する。
• 両方の不確実性タイプを統合して、リtrieval結果の信頼性を評価する：低データ不確実性（高品質な画像）かつ低モデル不確実性（高い信頼性）は、信頼できる予測を示す。

実験結果

リサーチクエスチョン

• RQ1 データ不確実性とモデル不確実性の統合的モデリングが、人物再識別予測の信頼性を向上させることができるか？
• RQ2 データ不確実性学習にサンプリングを不要とするアプローチを採用することで、低品質で曖昧なトレーニングサンプルの影響が効果的に抑制されるか？
• RQ3 追加の推論コストが発生しない条件下でも、ベイジアンパラメータ推定がReIDにおけるモデル不確実性を効果的に捉えることができるか？
• RQ4 不確実性対応ランク付けは、マルチクエリおよびリスク制御付きのリtrieval設定において性能をどのように向上させるか？
• RQ5 提案手法は、標準的な単一クエリ評価プロトコルにおいて最先端の性能を達成するか？

主な発見

• UALは、ResNet50バックボーンを用いた3つの主要ベンチマークで最先端の性能を達成した：Market-1501（Rank-1: 95.2%, mAP: 87.0%）、CUHK03-NP（Rank-1: 80.0%, mAP: 56.5%）、MSMT17（Rank-1: 84.7%, mAP: 65.3%）。
• T=5を用いた場合、17秒の推論時間で、HOReID や PGFA といった強力なベースラインを大きく上回り、精度と推論効率の両面で優れた性能を示した。
• アブレーションスタディの結果、データ不確実性とモデル不確実性の両方が性能向上に寄与しており、特にデータ不確実性が大きな寄与を示した（例：両者を併用した場合、MSMT17でmAPが+3.5%向上）。
• HRNet-W32を用いた場合でも優れた結果を達成し、Market-1501で95.7%のRank-1と89.5%のmAPを達成した。これは、異なるバックボーンに対しても本手法の有効性を示している。
• マルチクエリおよびリスク制御付きの設定において、不確実性に基づく信頼性評価により、低品質なクエリの影響を軽減し、リtrieval性能が向上した。これは、本手法の実用的価値を裏付けるものである。
• ハイパーパramータT（モンテカルロサンプル数）はT=10を超えると性能にほとんど影響を及ぼさないことが示され、本手法が小さなT値でも効果的かつ効率的であることを示している。