[論文レビュー] Localization in the Crowd with Topological Constraints

Shahira Abousamra, Minh Hoai+2 more|arXiv (Cornell University)|Dec 23, 2020

Topological and Geometric Data Analysis参考文献 56被引用数 9

ひとこと要約

本稿では、恒久的ホモロジーを用いて空間的推論を強制する新しい恒久的損失を導入することで、密な領域における誤検出および見逃しを顕著に低減する、トップロジカルディープラーニング手法TopoCountを提案する。このアプローチにより、局所化精度が向上し、補助入力として用いることで、最先端の集団計数性能が7–28%向上する。

ABSTRACT

We address the problem of crowd localization, i.e., the prediction of dots corresponding to people in a crowded scene. Due to various challenges, a localization method is prone to spatial semantic errors, i.e., predicting multiple dots within a same person or collapsing multiple dots in a cluttered region. We propose a topological approach targeting these semantic errors. We introduce a topological constraint that teaches the model to reason about the spatial arrangement of dots. To enforce this constraint, we define a persistence loss based on the theory of persistent homology. The loss compares the topographic landscape of the likelihood map and the topology of the ground truth. Topological reasoning improves the quality of the localization algorithm especially near cluttered regions. On multiple public benchmarks, our method outperforms previous localization methods. Additionally, we demonstrate the potential of our method in improving the performance in the crowd counting task.

研究の動機と目的

• 密な領域における空間的意味的誤り（誤検出および見逃し）を是正すること。
• 予測されたドット配置におけるトポロジカル整合性を強制することで、局所化品質を向上させること。
• トポロジカル推論を活用して、局所化および集団計数タスクの両方の性能を向上させること。
• 高品質な局所化マップが密度ベースの計数モデルの性能を顕著に向上させることを示すこと。

提案手法

• 局所化を、連結成分が正例ドットと一対一に対応するトポロジカルマップの予測として定式化する。
• 真のトポロジーと尤度マップの地形を比較するため、恒久的ホモロジー理論に基づく新しい恒久的損失を導入する。
• 損失関数は、k個の正例ドットに対応する尤度マップの上位k個のモードの強調を促進し、非上位k個のモードをペナルティ化することで、正しいトポロジーを保証する。
• モデルは、データセットのスケールと解像度に応じて、50×50または100×100のランダムにサンプリングされたパッチ上で局所的トポロジカル制約を適用して訓練する。
• 恒久的損失は、ハイパーパrameter λ=1 を用いて、標準的なピxls単位の損失（DICEおよびBCE）と組み合わせて使用する。
• 最終的なバイナリーマスクは、尤度マップを0.5でしきい値処理することで得られ、k個の正例ドットに対して正確にk個の連結成分を持つマップが得られる。

実験結果

リサーチクエスチョン

• RQ1 トポロジカル制約は、特に密でごみだらけの領域において、集団シーンの局所化精度を向上させ得るか？
• RQ2 恒久的ホモロジーを用いて、予測ドットの正しい空間的配置を強制する微分可能な損失を効果的に定義できるか？
• RQ3 トポロジカル推論を組み込むことで、集団局所化における誤検出および見逃しを低減できるか？
• RQ4 高品質な局所化マップは、最先端の密度ベースの集団計数モデルの性能を向上させ得るか？

主な発見

• TopoCountは、複数の公的ベンチマークで先行する局所化手法を上回り、局所化指標において最先端の精度を達成した。
• アブレーションスタディの結果、恒久的損失を用いることで、BCEまたはDICE損失のみを用いる場合と比較して誤差が低減され、λ=1 で最適な性能が得られた。
• ShanghaiTechおよびUCF CC 50では50×50のパッチサイズが最適であったが、UCF QNRFおよびJHU++のような高解像度・スケール可変データセットでは100×100がより優れた性能を示した。
• 補助入力として用いる場合、TopoCountは複数のベンチマークで最先端の密度ベースのモデルの計数性能を7%から28%まで向上させた。
• 本手法は密度マップで失われるトポロジカル構造を保持しており、後続タスクに不可欠な空間的配置の回復を可能にした。
• 恒久的損失は尤度マップにおける正しいモード構造を効果的に促進し、困難な密な領域においても正確で頑健な局所化を実現した。