[論文レビュー] Pedestrian Detection aided by Deep Learning Semantic Tasks

Yonglong Tian, Ping Luo+2 more|arXiv (Cornell University)|Nov 29, 2014

Advanced Neural Network Applications参考文献 34被引用数 7

ひとこと要約

本稿では、外部のセグメンテーションデータセットからシーン属性を転移することで、Pedestrian Detectionとセマンティック属性（例：'バックパックを背負っている' など、Pedestrian固有の属性および '木' や '道路' などのシーンレベルの属性）を同時に最適化する、マルチタスク深層学習フレームワークであるTask-Assistant CNN (TA-CNN) を提案する。共有および非共有の属性を用いて多様なデータソースから高レベルの表現を学習し、適応的マルチタスク損失を適用することで、SOTAの深層モデルと比較してCaltechでは17%、ETHでは5.5%のミス率低下を達成した。

ABSTRACT

Deep learning methods have achieved great success in pedestrian detection, owing to its ability to learn features from raw pixels. However, they mainly capture middle-level representations, such as pose of pedestrian, but confuse positive with hard negative samples, which have large ambiguity, e.g. the shape and appearance of `tree trunk' or `wire pole' are similar to pedestrian in certain viewpoint. This ambiguity can be distinguished by high-level representation. To this end, this work jointly optimizes pedestrian detection with semantic tasks, including pedestrian attributes (e.g. `carrying backpack') and scene attributes (e.g. `road', `tree', and `horizontal'). Rather than expensively annotating scene attributes, we transfer attributes information from existing scene segmentation datasets to the pedestrian dataset, by proposing a novel deep model to learn high-level features from multiple tasks and multiple data sources. Since distinct tasks have distinct convergence rates and data from different datasets have different distributions, a multi-task objective function is carefully designed to coordinate tasks and reduce discrepancies among datasets. The importance coefficients of tasks and network parameters in this objective function can be iteratively estimated. Extensive evaluations show that the proposed approach outperforms the state-of-the-art on the challenging Caltech and ETH datasets, where it reduces the miss rates of previous deep models by 17 and 5.5 percent, respectively.

研究の動機と目的

• 木の幹や電柱など、視覚的に歩行者に似ているが難しいネガティブサンプルの課題に対処すること。
• 深層学習モデルが主に中レベルの特徴を学習し、曖昧なポジティブ・ネガティブサンプルを区別できないという限界を克服すること。
• 歩行者およびシーン属性からの高レベルのセマンティック表現を活用して、検出のロバスト性と一般化性能を向上させること。
• 既存のシーンセグメンテーションデータセットからの知識転移により、シーン属性の手作業によるアノテーションの必要性を低減すること。
• 収束速度やデータ分布のズレが異なる複数のタスクを統合的に調整できる一元的な深層学習フレームワークを構築すること。

提案手法

• Pedestrian Detectionに加え、補助的なセマンティックタスク（例：'性別' や 'バックパック' などのPedestrian属性、'木' や '垂直' などのシーン属性）を同時に最適化する、Task-Assistant CNN (TA-CNN) を提案する。
• PASCAL VOC や Cityscapes などの外部のシーンセグメンテーションデータセット（例）から、構造的プロジェクションを介してシーン属性のアノテーションをPedestrianデータセットに転送し、手作業によるラベル付けを回避する。
• 共有および非共有のシーン属性を導入：共有属性（複数のデータセットに共通する）は、異種データセット間の表現学習を促進し、非共有属性は特徴の多様性を向上させる。
• 学習可能なタスク重要度係数と共有ネットワークパラメータを備えたマルチタスク目的関数を設計し、確率的勾配降下法で最適化することで、収束速度の違いやデータ分布のズレをバランスさせる。
• トレーニングの前段階で、シーンデータセットのサンプルをPedestrianデータセットの構造的空間にプロジェクションしてドメインギャップを低減する。
• タスク重みとネットワークパラメータを反復的に推定することで、検出とセマンティック属性予測を重み付き多変量交差エントロピー損失で同時に学習する。

実験結果

リサーチクエスチョン

• RQ1 補助属性から得る高レベルのセマンティック表現は、特に難しいネガティブサンプルの区別に寄与し、Pedestrian Detectionの性能向上をもたらすか？
• RQ2 シーン属性の手作業ラベルなしに、既存のシーンセグメンテーションデータセットからの知識をPedestrian Detectionタスクに効果的に転送できるか？
• RQ3 共有と非共有のシーン属性が、多様なデータ分布にわたるロバストで一般化可能な特徴の学習に与える影響は何か？
• RQ4 タスクの収束速度やデータソースの統計的分布の違いがある状況で、マルチタスク学習を効果的に調整できるか？
• RQ5 セマンティック属性と共同最適化することで、SOTAの深層学習モデルやハンドクラフト特徴ベースの検出器と比較して、ミス率はどの程度低下するか？

主な発見

• TA-CNNは、以前の深層学習モデルと比較して、Caltech-Testデータセットでログ平均ミス率を17%低下させた。
• ETHデータセットでは、最良の深層モデルと比較して5.5%低いミス率を達成し、最終的なログ平均ミス率は34.99%であった。
• Pedestrian属性の統合のみで、主な検出タスク単体と比較してミス率が5.5%低下した。
• 共有シーン属性を組み込むことでさらに1.8%のミス率低下が得られ、非共有属性を追加することでさらに1.2%の低下が達成された。
• FisherBoost や Roerei といったハンドクラフト特徴手法と比較して、それぞれ9.8%および8.5%のミス率低下を達成した。
• ETHデータセットにおいて、SDN や DBN-Mul といった他の深層モデルと比較して、それぞれ5.5%および6%のミス率低下を達成し、MultiSDP と比較して12.7%のミス率低下を実現した。