[論文レビュー] Multi-shot Pedestrian Re-identification via Sequential Decision Making

Jianfu Zhang, Naiyan Wang+1 more|arXiv (Cornell University)|Dec 19, 2017

Video Surveillance and Tracking Methods参考文献 27被引用数 4

ひとこと要約

本論文は、複数ショット歩行者再識別における強化学習ベースの逐次的意思決定フレームワークを提案する。エージェントは1枚ずつ画像ペアを評価し、'同じ'、'異なる'、または追加の証拠を要請する'不明'の3つの選択肢から選ぶ。自信に応じて使用する画像枚数を動的に調整することで、わずか3%〜6%の画像のみを用いることで最先端の精度を達成し、高い性能を維持したまま大幅に効率性を向上させた。

ABSTRACT

Multi-shot pedestrian re-identification problem is at the core of surveillance video analysis. It matches two tracks of pedestrians from different cameras. In contrary to existing works that aggregate single frames features by time series model such as recurrent neural network, in this paper, we propose an interpretable reinforcement learning based approach to this problem. Particularly, we train an agent to verify a pair of images at each time. The agent could choose to output the result (same or different) or request another pair of images to verify (unsure). By this way, our model implicitly learns the difficulty of image pairs, and postpone the decision when the model does not accumulate enough evidence. Moreover, by adjusting the reward for unsure action, we can easily trade off between speed and accuracy. In three open benchmarks, our method are competitive with the state-of-the-art methods while only using 3% to 6% images. These promising results demonstrate that our method is favorable in both efficiency and performance.

研究の動機と目的

• すべてのフレームを均一に処理する既存の複数ショット再識別手法の非効率性とノイズ感受性を解消すること。
• 歩行者再識別における意思決定プロセスを、速度と正確性のバランスを取る逐次的・適応的プロセスとしてモデル化すること。
• 困難またはノイズの多いサンプルを暗黙的に特定し、十分な証拠が集まるまで意思決定を延期する手法を開発すること。
• 報酬設計によるチューニングが可能で、エンドツーエンドかつ解釈可能な意思決定を可能にすること。
• Q値関数がサンプルの難易度を信頼性があり解釈可能な指標として機能することを示すこと。

提案手法

• 本手法は、深層強化学習を用いて複数ショット再識別を逐次的意思決定問題として定式化する。
• エージェントは2つのトラックからの画像ペアを1枚ずつ処理し、'同じ'、'異なる'、'不明'（追加証拠を要請）の3つの行動から選択する。
• エージェントの方策は、誤った意思決定に対してペナルティを与え、早期に正しい意思決定をした場合に報酬を与える報酬関数を用いた深層Qネットワーク（DQN）で学習される。
• 現在の行動を決定するにあたり、画像レベルの特徴量と過去の意思決定の文脈を組み合わせることで、適応的な推論を可能にする。
• 各行動に対するQ値の出力は、現在の画像ペアの信頼性と難易度を評価するのに用いられ、解釈可能な意思決定経路を実現する。
• 本フレームワークは、深層学習でない手法を含む任意の画像レベル特徴抽出器と互換性があり、速度と正確性のトレードオフを報酬に基づいて制御可能である。

実験結果

リサーチクエスチョン

• RQ1 エージェントが、使用する画像ペアの枚数を動的に選択することで、複数ショット歩行者再識別における意思決定の速度と正確性のバランスを効果的にとることができるか？
• RQ2 固定集約手法と比較して、本モデルが意思決定を延期できる能力が、ノイズや低品質なフレームに対してどれほど高いロバスト性を示すか？
• RQ3 Q値関数が画像ペアの難易度を信頼性があり解釈可能な指標としてどの程度機能するか？
• RQ4 本手法は、特に実世界の監視環境において、ベースライン手法と比較して顕著に少ない画像枚数で最先端の性能を達成できるか？
• RQ5 速度優先または正確性優先の異なる報酬設定において、モデルの性能はどのように変化するか？

主な発見

• PRID2011データセットにおいて、本手法はCMCランク1の正確度86.4%を達成し、最良の既存手法よりも約5%高い性能を示した。
• iLIDS-VIDおよびMARSデータセットでも、最先端の手法と同等または優れた性能を達成しており、全フレームを用いたモデルと同等かそれ以上のCMCランク1の結果を示した。
• 平均して、1つのトラックペアあたり使用する画像は3%〜6%にとどまり、全フレーム処理のベースラインと比較して計算コストを顕著に削減した。
• Q値関数は画像ペアの難易度を効果的に捉えており、高い値はより高い信頼性の予測を示し、低い値は曖昧またはノイジーなサンプルを示している。
• アブレーションスタディの結果、手作業で設計した特徴量を削除するか、履歴エンコーダーをLSTMに置き換えると性能が著しく低下し、設計選択の妥当性が裏付けられた。
• 順序付きフレームペアよりもランダム順序のフレームペアで性能が優れていたため、非順序処理が時間的順序によるバイアスを回避するのに役立つことが示唆された。