[論文レビュー] In Defense of the Triplet Loss Again: Learning Robust Person Re-Identification with Fast Approximated Triplet Loss and Label Distillation

Ye Yuan, Wuyang Chen+2 more|arXiv (Cornell University)|Dec 17, 2019

Video Surveillance and Tracking Methods参考文献 46被引用数 9

ひとこと要約

本稿では、ポイント同士の距離をポイントとクラスタ中心への距離に置き換え、クラスタのcompactさを強制することで、人物再識別における標準的トリプレット損失の線形計算量の代替手法として、Fast-Approximated Triplet (FAT) 損失を提案する。さらに、ノイズの多いラベルに対して頑健性を高めるために、ソフト仮ラベルを用いたラベル distillation を導入し、Market-1501、DukeMTMC-reID、MSMT17 で最先端の精度と直接的転送性能を達成した。

ABSTRACT

The comparative losses (typically, triplet loss) are appealing choices for learning person re-identification (ReID) features. However, the triplet loss is computationally much more expensive than the (practically more popular) classification loss, limiting their wider usage in massive datasets. Moreover, the abundance of label noise and outliers in ReID datasets may also put the margin-based loss in jeopardy. This work addresses the above two shortcomings of triplet loss, extending its effectiveness to large-scale ReID datasets with potentially noisy labels. We propose a fast-approximated triplet (FAT) loss, which provably converts the point-wise triplet loss into its upper bound form, consisting of a point-to-set loss term plus cluster compactness regularization. It preserves the effectiveness of triplet loss, while leading to linear complexity to the training set size. A label distillation strategy is further designed to learn refined soft-labels in place of the potentially noisy labels, from only an identified subset of confident examples, through teacher-student networks. We conduct extensive experiments on three most popular ReID benchmarks (Market-1501, DukeMTMC-reID, and MSMT17), and demonstrate that FAT loss with distilled labels lead to ReID features with remarkable accuracy, efficiency, robustness, and direct transferability to unseen datasets.

研究の動機と目的

• 大規模な人物再識別における標準的トリプレット損失の高い計算コストを軽減すること。
• 実世界のReIDデータセットにおけるラベルノイズや外れ値に対して頑健性を向上させること。
• ハードサンプルマイニングを伴わず、効率的かつスケーラブルな学習を可能にしつつ、マージンベースの損失の有効性を維持すること。
• 蒸留されたソフトラベルを用いて、未学習のデータセットへの直接的転送性を実証すること。

提案手法

• 標準的トリプレット損失の厳密な上界としてFAT損失を導出し、ポイント同士の距離をポイントとクラスタ中心への距離に置き換える。
• アイデンティティクラスタのタイトネスを強制するクラスタcompactness正則化項を導入し、一般化性能を向上させる。
• 信頼性の高いサンプルからソフト仮ラベルを生成するための蒸留ネットワークを設計し、ノイズの多いハードラベルの影響を低減する。
• 教師-生徒トレーニングを採用：教師ネットワークが信頼性の高いサンプルのサブセットに対してソフトラベルを生成し、それをもとに生徒ネットワークを学習させる。
• 交差エントロピー損失およびFAT損失の両方でワンホットラベルをソフトラベルに置き換え、ラベルの信頼度に応じて勾配を再重み付けする。
• 性能および一般化性能のさらなる向上を図るため、batchNeg や ctrdAll のサンプリング戦略を用いて学習を行う。

実験結果

リサーチクエスチョン

• RQ1 ランキングベースの学習目的を維持しつつ、計算量が効率的なトリプレット損失の代替が可能か？
• RQ2 ポイント同士の距離計算をポイントと集合への距離計算に置き換えることで、計算複雑度を低減しつつ性能を維持できるか？
• RQ3 ソフト仮ラベルを用いたラベル蒸留により、大規模なReIDデータセットにおけるノイズラベルの悪影響を軽減できるか？
• RQ4 FAT損失とラベル蒸留の組み合わせが、ドメイン内精度およびゼロショット転送性能の両方を向上させるか？
• RQ5 提案手法は、ラベルノイズのレベルが異なる多様なReIDベンチマークに対して、頑健に機能するか？

主な発見

• FAT損失はトレーニングデータセットサイズに対して線形計算量を達成し、標準的トリプレット損失と比較して著しくトレーニング時間を短縮した。
• Market-1501では、ResNet50で学習したCE-FATとbatchNegを用いることで、すべての先行SOTA損失を上回った。
• DenseNet161を用いる場合、CE-FATはMarket-1501で最先端の性能を達成し、Cycle-GANドメイン適応手法を上回った。
• MSMT17では、batchNegを用いたCE-FATが、ドメイン適応を用いない状態でも、以前に報告されたSOTA性能を上回った。
• ソフトパcentile法を用いたラベル蒸留は、ハード法やフルデータセット学習を上回る優れた転送性能を示した。
• CE-FAT-distillationは、MSMT17からDukeMTMC-reIDへの直接的転送性能で最先端を達成し、ターゲットドメインの微調整なしにHHLドメイン適応手法をも上回った。