[論文レビュー] Pedestrian Detection: Domain Generalization, CNNs, Transformers and Beyond

Irtiza Hasan, Shengcai Liao+3 more|arXiv (Cornell University)|Jan 10, 2022

Advanced Neural Network Applications被引用数 16

ひとこと要約

本稿は、最先端の歩行者検出器におけるデータセット間での一般化性能の低さを、データセット固有のアーキテクチャ的バイアスと単調な自動運転ベンチマークに起因すると特定し、その制限要因を指摘する。本稿では、ウェブクロールドされた多様なデータセット（CrowdHuman、WiderPedestrian）を用いた段階的ファインチューニングパイプラインを提案し、単一データセットベンチマークでは同等の性能を示すものの、データセット間一般化性能においてはCNNベースの検出器がTransformerを上回ることを示している。アンサンブルモデルはCityPersonsおよびEuroCityPersonsでSOTAを達成した。

ABSTRACT

Pedestrian detection is the cornerstone of many vision based applications, starting from object tracking to video surveillance and more recently, autonomous driving. With the rapid development of deep learning in object detection, pedestrian detection has achieved very good performance in traditional single-dataset training and evaluation setting. However, in this study on generalizable pedestrian detectors, we show that, current pedestrian detectors poorly handle even small domain shifts in cross-dataset evaluation. We attribute the limited generalization to two main factors, the method and the current sources of data. Regarding the method, we illustrate that biasness present in the design choices (e.g anchor settings) of current pedestrian detectors are the main contributing factor to the limited generalization. Most modern pedestrian detectors are tailored towards target dataset, where they do achieve high performance in traditional single training and testing pipeline, but suffer a degrade in performance when evaluated through cross-dataset evaluation. Consequently, a general object detector performs better in cross-dataset evaluation compared with state of the art pedestrian detectors, due to its generic design. As for the data, we show that the autonomous driving benchmarks are monotonous in nature, that is, they are not diverse in scenarios and dense in pedestrians. Therefore, benchmarks curated by crawling the web (which contain diverse and dense scenarios), are an efficient source of pre-training for providing a more robust representation. Accordingly, we propose a progressive fine-tuning strategy which improves generalization. Code and models can accessed at https://github.com/hasanirtiza/Pedestron.

研究の動機と目的

• 異なるデータセット間での最先端歩行者検出器の一般化性能の低さ、特に小さなドメインシフト下での性能を調査すること。
• 特にターゲットドメインに特化したアンカーベース設計が原因となる、現在の検出器におけるアーキテクチャ的バイアスが一般化性能の制限要因であることを特定すること。
• データセット間評価下におけるバックボーンネットワーク（CNN対Transformer）の一般化性能への影響を評価すること。
• ウェブクロールドソースからの大規模かつ多様なデータセット（例：CrowdHuman、WiderPedestrian）が、単調な自動運転ベンチマークよりも事前学習に有効であることを示すこと。
• 段階的ファインチューニング戦略を提案・検証し、今後の検出器開発の基準としてデータセット間評価を推奨すること。

提案手法

• 段階的ファインチューニングパイプラインを提案：まず多様で密集した歩行者データセット（CrowdHuman、WiderPedestrian）で事前学習し、その後ターゲットデータセット（CityPersons、EuroCityPersons）でファインチューニングする。
• 全実験で一貫性のある評価を確保するため、検出ヘッドにCascade R-CNNを採用し、バックボーン間の公平な比較を可能にする。
• 同じ検出ヘッドとトレーニングプロトコルを用いて、CNNとTransformerバックボーン（例：ResNeXt、Swin-T）を比較し、アーキテクチャの違いが一般化性能に与える影響を隔離する。
• 異なるデータセット（CrowdHuman + WiderPedestrian）で事前学習したモデルの検出結果をソフトNMSを用いてアンサンブル推論することで、耐性を向上させる。
• 主な評価プロトコルとしてデータセット間評価を採用し、1つのデータセットで学習し、他のデータセット（例：CrowdHuman → CityPersons）でテストすることで、真の一般化能力を測定する。
• 最終評価には公式ベンチマーク（CityPersons、EuroCityPersons）の非公開テストセットを用い、発表済みベースラインと比較可能な再現性と公平性を確保する。

実験結果

リサーチクエスチョン

• RQ1 現在の最先端歩行者検出器は、特に小さなドメインシフト下において、どの程度異なるデータセット間で一般化できるか？
• RQ2 歩行者検出器におけるアーキテクチャ設計の選択（例：アンカーセットティング）は、一般化性能の低さにどのように寄与しているか？
• RQ3 データセット間評価下において、TransformerベースのバックボーンはCNNベースのバックボーンよりも一般化性能が優れているか？
• RQ4 ウェブクロールドソースからの大規模かつ多様なデータセット（例：CrowdHuman、WiderPedestrian）は、単調な自動運転ベンチマークよりも一般化性能を向上させられるか？
• RQ5 多様なデータセットを用いた段階的事前学習およびファインチューニングパイプラインは、ターゲットドメインデータのみで標準的に学習する場合よりも優れた一般化性能をもたらすか？

主な発見

• 現在の歩行者検出器は、単一データセットベンチマークでは高い性能を示すが、データセット間評価では顕著な性能低下を示し、一般化性能の低さが顕著である。
• 一般化検出器（例：Cascade R-CNN）は、特化型歩行者検出器よりもデータセット間評価で優れた性能を示す。これは、特化が一般化性能を損なう要因である可能性を示唆している。
• Transformerベースのバックボーンでさえ、単一ベンチマークでは優れた性能を示すが、データセット間一般化性能ではCNNベースのバックボーンが優れている。これは、CNNがドメインシフトに対してより耐性があることを示している。
• CrowdHuman や WiderPedestrian といった多様でウェブクロールドされたデータセットで事前学習することで、一般化性能が顕著に向上し、CityPersonsのリーズナブルセットのAPが8.35から7.69（アンサンブル）に低下し、ECPでは5.5から5.1に低下した。
• 提案された段階的ファインチューニングパイプラインにアンサンブル推論を組み合わせた手法は、CityPersonsおよびEuroCityPersonsのリーダーボードでそれぞれ1位および2位を達成し、公式トレーニングデータのみを用いた発表済み手法をすべて上回った。
• 本研究は、現在の自動運転ベンチマークがシーンの多様性と歩行者密度の面で単調であることが判明し、それらで学習した検出器の耐性の限界を示した。今後の事前学習データとしてより多様なデータの導入を提言している。