[論文レビュー] Robust Object Detection under Occlusion with Context-Aware CompositionalNets

Angtian Wang, Yihong Sun+2 more|arXiv (Cornell University)|May 24, 2020

Advanced Neural Network Applications参考文献 40被引用数 6

ひとこと要約

本論文では、物体と文脈の表現を分離し、正確なバウンディングボックス推定のためのパーツベース投票機構を導入することで、重度の隠蔽下でも頑健なオブジェクト検出を向上させる文脈に配慮したコンポジショナルネットを提案する。この手法は、Faster R-CNNに比べてPASCAL3D+で41%、MS-COCOで35%の性能向上を達成した。

ABSTRACT

Detecting partially occluded objects is a difficult task. Our experimental results show that deep learning approaches, such as Faster R-CNN, are not robust at object detection under occlusion. Compositional convolutional neural networks (CompositionalNets) have been shown to be robust at classifying occluded objects by explicitly representing the object as a composition of parts. In this work, we propose to overcome two limitations of CompositionalNets which will enable them to detect partially occluded objects: 1) CompositionalNets, as well as other DCNN architectures, do not explicitly separate the representation of the context from the object itself. Under strong object occlusion, the influence of the context is amplified which can have severe negative effects for detection at test time. In order to overcome this, we propose to segment the context during training via bounding box annotations. We then use the segmentation to learn a context-aware CompositionalNet that disentangles the representation of the context and the object. 2) We extend the part-based voting scheme in CompositionalNets to vote for the corners of the object's bounding box, which enables the model to reliably estimate bounding boxes for partially occluded objects. Our extensive experiments show that our proposed model can detect objects robustly, increasing the detection performance of strongly occluded vehicles from PASCAL3D+ and MS-COCO by 41% and 35% respectively in absolute performance relative to Faster R-CNN.

研究の動機と目的

• 文脈の干渉と不正確なプロポーザル生成のため、Faster R-CNNのような深層学習モデルが部分的に隠蔽されたオブジェクトを検出する際の頑健性の低さを解決すること。
• トレーニング中に文脈とオブジェクトの表現を明示的に分離することで、オブジェクト検出におけるコンポジショナルネットの限界を克服すること。
• オブジェクトのコーナーを予測するようにパーツベース投票機構を拡張することで、隠蔽下のオブジェクトに対するバウンディングボックス推定を改善すること。
• 学習による分離によって文脈の影響を制御することで、重度の隠蔽下でも検出精度が向上することを示すこと。

提案手法

• トレーニング時にバウンディングボックスアノテーションを用いて、画像表現を文脈とオブジェクトの成分に分離する文脈に配慮したコンポジショナルネットアーキテクチャを導入する。
• 学習可能な重みパラメータ ω を用いて、オブジェクト部分に注目し、文脈の影響を抑制するように、エンドツーエンドで分離表現を学習する。
• コンポジショナルネットのパーツベース投票機構を拡張し、オブジェクトのバウンディングボックスの2つの反対側のコーナーについても投票を可能にすることで、隠蔽下での正確な局所化を可能にする。
• 隠蔽されていないパーツからの投票結果を用いて、完全なバウンディングボックスを推定することで、部分的なオブジェクト構造しか見えない状況でも頑健性を向上させる。
• 文脈とオブジェクト特徴の間の分離を促進する混合モデル損失関数を用いてトレーニングし、文脈バイアスに起因する誤検出を低減する。
• ωのアブレーションスタディを実施し、最適な文脈重みを特定する。その結果、文脈を無効化する（ω=0）ことで、重度の隠蔽下での性能が向上することが示された。

実験結果

リサーチクエスチョン

• RQ1 強い隠蔽下において、文脈の干渉が深層学習モデルのオブジェクト検出性能にどのように悪影響を及ぼすか？
• RQ2 コンポジショナルネットをオブジェクト検出に拡張可能か？ その際、文脈の分離不足とバウンディングボックス推定能力の欠如をどのように是正できるか？
• RQ3 オブジェクトのコーナーを予測するパーツベース投票機構は、標準的なRPNと比較して、部分的隠蔽下での局所化の頑健性をどのように向上させるか？
• RQ4 隠蔽されたオブジェクトを検出する際、コンポジショナルネットにおける文脈とオブジェクト表現の最適なバランスは何か？
• RQ5 文脈に配慮した表現学習は、PASCAL3D+ や MS-COCO のようなベンチマークデータセットにおける隠蔽下での検出精度をどの程度向上させるか？

主な発見

• 提案された文脈に配慮したコンポジショナルネットは、Faster R-CNNに比べてPASCAL3D+の重度の隠蔽下の車両に対して平均平均精度（mAP）を41%向上させた。
• MS-COCOデータセットでは、Faster R-CNNに比べて重度の隠蔽下の車両に対してmAPが35%の絶対的向上を達成した。
• 文脈を無効化（ω=0）すると、学習された文脈事前分布（ω=0.5）を使用する場合よりも性能が向上しており、隠蔽が重度の場合、文脈が逆に有害である可能性があることを示している。
• 頑健なバウンディングボックス投票機構は、特に高レベルの隠蔽下において、RPNよりも正確なプロポーザルを生成する点で顕著に優れている。
• Faster R-CNNのVGG-16分類器をコンポジショナルネットに置き換えることで、高レベルの隠蔽下でも性能が向上し、隠蔽されたオブジェクト分類においてパーツベースモデルの優位性を確認した。
• 極度の隠蔽（フォアグラウンドおよびバックグラウンドレベル3）下でも、モデルは高い精度を維持しており、定量的評価では緑色のボックス（CA-CompositionalNetによるBB投票）が、正解と密接に一致した。