[論文レビュー] Torchreid: A Library for Deep Learning Person Re-Identification in Pytorch

Kaiyang Zhou, Tao Xiang|arXiv (Cornell University)|Oct 22, 2019

Video Surveillance and Tracking Methods参考文献 61被引用数 99

ひとこと要約

Torchreid は PyTorch ベースのライブラリで、統一データ読み込み、エンドツーエンドのトレーニング、深層人物再識別モデルの評価を可能にし、研究の迅速な推論と再現性を支援するモデル zoo と可視化ツールを備えています。

ABSTRACT

Person re-identification (re-ID), which aims to re-identify people across different camera views, has been significantly advanced by deep learning in recent years, particularly with convolutional neural networks (CNNs). In this paper, we present Torchreid, a software library built on PyTorch that allows fast development and end-to-end training and evaluation of deep re-ID models. As a general-purpose framework for person re-ID research, Torchreid provides (1) unified data loaders that support 15 commonly used re-ID benchmark datasets covering both image and video domains, (2) streamlined pipelines for quick development and benchmarking of deep re-ID models, and (3) implementations of the latest re-ID CNN architectures along with their pre-trained models to facilitate reproducibility as well as future research. With a high-level modularity in its design, Torchreid offers a great flexibility to allow easy extension to new datasets, CNN models and loss functions.

研究の動機と目的

• 深層学習ベースの人物再識別のための統一的で拡張可能なフレームワークを提供し、複数のデータセットと評価プロトコルを扱えるようにする。
• エンドツーエンドのトレーニングパイプラインで、再IDモデルの高速な開発とベンチマークを可能にする。
• モデル zoo における最先端の CNN アーキテクチャと事前学習済みモデルを提供することで再現性を促進する。
• 画像とビデオの両方の re-ID ドメインのデータを、モジュール式で拡張性の高いコンポーネントでサポートする。
• 再IDモデルの解釈と学習を支援する可視化ツールとドキュメントを提供する。

提案手法

• データ処理、モデル、損失、オプティマイザ、エンジンのモジュール式コンポーネントを備えた PyTorch ベースのライブラリとして Torchreid を導入する。
• ImageDataManager および VideoDataManager を提供し、データ読み込みを統一し、マルチデータセットのトレーニング/評価を可能にする。
• 主なトレーニングパラダイムとして、ソフトマックス損失による画像/ビデオの分類と、トリプレット損失によるメトリクス学習を実装し、結合目的のオプションも提供する。
• 様々な CNN バックボーンを含むモデル zoo を提供し、ImageNet 分類器や re-ID 特化アーキテクチャ、事前学習済み重みを含む。
• 訓練/評価ループを標準化し、容易な拡張を可能にするエンジン（ImageSoftmaxEngine、ImageTripletEngine など）を含む。
• 可視化ツール（visrank、visactmap）を提供し、定性的分析のために TensorBoard と統合する。
• データセットは標準的なベンチマークを網羅し、公平な比較のためにそれらの評価プロトコルで実装されていることを保証する。

実験結果

リサーチクエスチョン

• RQ1 統一されたフレームワークは、複数のデータセットにわたる深層 re-ID モデルの開発と評価をどのように単純化できるか。
• RQ2 標準化されたデータ読み込みとトレーニングループを備えたエンドツーエンドの PyTorch パイプラインは、人物 re-ID における実験の迅速化とベンチマークの再現性を加速できるか。
• RQ3 モジュール化設計は、re-ID モデル、データセット、トレーニング目的の拡張にどのような影響を与えるか。
• RQ4 統一データマネージャとモデル zoo は、転移学習とデータセット間の実験をより速く促進するか。
• RQ5 可視化ツールは、re-ID モデルの理解とデバッグを支援するうえでどの程度効果的か。

主な発見

• Torchreid は 15 の re-ID データセット（画像と映像）の統一データ ローダを提供し、データセットの任意の組み合わせでの訓練を可能にする。
• ライブラリは、ソフトマックス損失を用いた分類とトリプレット損失を用いたメトリクス学習の二つのコアトレーニングパイプラインを実装し、それらを組み合わせるオプションを提供する。
• モジュラーな Engine フレームワーク（ImageSoftmaxEngine、VideoSoftmaxEngine、ImageTripletEngine、VideoTripletEngine）は訓練/評価ループを標準化し、容易な拡張をサポートする。
• モデル zoo は複数の CNN バックボーン（re-ID 特化アーキテクチャを含む）と事前学習済み重みを提供し、迅速なベースラインと再現性を促進する。
• Torchreid は可視化ツール（visrank、visactmap）と TensorBoard 連携を含み、モデル学習の定性的分析を支援する。
• Cython 加速されたコンポーネントは、大規模データセットでのランキング指標（CMC）と平均適合率（mAP）の計算を改善する。