[論文レビュー] Enhanced Object Detection via Fusion With Prior Beliefs from Image Classification

Yilun Cao, Hyungtae Lee+1 more|arXiv (Cornell University)|Oct 21, 2016

Advanced Neural Network Applications参考文献 11被引用数 3

ひとこと要約

本稿では、画像分類から得られる事前信念を統合することで誤検出を低減し、オブジェクト検出の正確性を向上させる、新しい統合フレームワークを提案する。動的信念統合（DBF）を用いて検出出力と分類信頼度スコア（同じ画像内のすべてのバウンディングボックスに一様に割り当てられる）を統合することで、PASCAL VOC 2007および2012で複数の検出器において平均平均精度（mAP）が向上し、HOG-SVMでは最大で+7.5%の向上を達成した。

ABSTRACT

In this paper, we introduce a novel fusion method that can enhance object detection performance by fusing decisions from two different types of computer vision tasks: object detection and image classification. In the proposed work, the class label of an image obtained from image classification is viewed as prior knowledge about existence or non-existence of certain objects. The prior knowledge is then fused with the decisions of object detection to improve detection accuracy by mitigating false positives of an object detector that are strongly contradicted with the prior knowledge. A recently introduced novel fusion approach called dynamic belief fusion (DBF) is used to fuse the detector output with the classification prior. Experimental results show that the detection performance of all the detection algorithms used in the proposed work is improved on benchmark datasets via the proposed fusion framework.

研究の動機と目的

• 特に誤検出率の高い検出器においても継続的に発生する誤検出の課題に対処すること。
• 画像内にオブジェクトが存在するか否かに関する事前知識として、画像分類を活用すること。
• 堅牢な統合戦略を用いてオブジェクト検出器の出力と分類信頼度スコアを統合することで、検出の正確性を向上させること。
• 分類からの事前知識が、バウンディングボックスのアノテーションを必要とせずに、誤検出を効果的に抑制できることを示すこと。
• PASCAL VOC 2007/2012の多様な検出器（HOG-SVM、DPM、Faster R-CNN）およびベンチマークデータセットを用いて、フレームワークの有効性を検証すること。

提案手法

• ImageNetでトレーニングした弱教師あり畳み込みニューラルネットワーク（WCNN）を、PASCAL VOCで画像分類用にファインチューニングする。
• 同じデータセットでトレーニングされた3つのオブジェクト検出器（HOG-SVM、DPM、Faster R-CNN）を検出タスクに用いる。
• WCNNの画像レベル分類スコアを、同じ画像内に検出されたすべてのバウンディングボックスに一様に割り当て、事前信念として用いる。
• 検証データから再現率と精度の関係をモデル化することで、動的信念統合（DBF）を用いて検出結果と分類事前知識を統合する。
• DBFを用いて各検出クラスタごとの統合スコアを計算し、検出信頼度と分類事前知識の両方に整合する仮説を優遇する。
• 検証セットを用いて事前モデルの最適化を行い、テストセットで最終的な統合性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 画像分類からの事前知識が、オブジェクト検出における誤検出を効果的に低減できるか？
• RQ2 分類信頼度と検出出力を統合することで、異なる検出器における平均平均精度（mAP）にどのような影響を与えるか？
• RQ3 誤検出率の高い検出器に対して、統合フレームワークがより大きな向上をもたらすか？
• RQ4 バウンディングボックスのアノテーションがなくても、有用な事前知識を提供できる弱教師あり分類器（WCNN）は存在するか？
• RQ5 異なるデータセット分割（例：train/val/test と trainval/trainval/test）において、統合によるパフォーマンス向上が一貫して得られるか？

主な発見

• DBFを用いてオブジェクト検出出力と画像分類事前知識を統合することで、PASCAL VOC 2007および2012の全テスト対象検出器においてmAPが顕著に向上した。
• HOG-SVMでは、trainvalパーティションを用いた際、mAPが+7.5%向上し、誤検出率の高い検出器に対して本手法の有効性が確認された。
• DPMは、WCNNと統合することでVOC 2012でmAPが+6.1%向上し、誤検出の強い抑制が確認された。
• Faster R-CNNは、もともと高い性能を発揮する検出器であったが、統合フレームワークによりVOC 2012でmAPが+1.7%向上した。
• 主な向上要因は、分類事前知識と強く矛盾する誤検出の削減に起因しており、本手法のコアなメカニズムが裏付けられた。
• trainvalパーティションで事前モデルの過学習が生じても顕著なパフォーマンス低下が観察されず、統合フレームワークの堅牢性が示された。