[論文レビュー] Deep Feature Based Contextual Model for Object Detection

Wenqing Chu, Deng Cai|arXiv (Cornell University)|Apr 14, 2016

Advanced Neural Network Applications参考文献 2被引用数 6

ひとこと要約

この論文は、完全結合型条件付きランダムフィールド（CRF）を用いて、局所的外観、対象間の関係、およびグローバルなシーンコンテキストを統合することで、オブジェクト検出を向上させる深層特徴ベースの文脈モデルを提案する。Faster R-CNNの提案とCNNから得られる特徴を活用することで、PASCAL VOC 2007でmAPを0.87%向上させ、'bottle'カテゴリでは最大3.4%の向上を達成した。効率性を確保するため、高速な平均場近似を用いた推論を実装した。

ABSTRACT

Object detection is one of the most active areas in computer vision, which has made significant improvement in recent years. Current state-of-the-art object detection methods mostly adhere to the framework of regions with convolutional neural network (R-CNN) and only use local appearance features inside object bounding boxes. Since these approaches ignore the contextual information around the object proposals, the outcome of these detectors may generate a semantically incoherent interpretation of the input image. In this paper, we propose an ensemble object detection system which incorporates the local appearance, the contextual information in term of relationships among objects and the global scene based contextual feature generated by a convolutional neural network. The system is formulated as a fully connected conditional random field (CRF) defined on object proposals and the contextual constraints among object proposals are modeled as edges naturally. Furthermore, a fast mean field approximation method is utilized to inference in this CRF model efficiently. The experimental results demonstrate that our approach achieves a higher mean average precision (mAP) on PASCAL VOC 2007 datasets compared to the baseline algorithm Faster R-CNN.

研究の動機と目的

• Faster R-CNNのような最先端の検出器が、オブジェクト提案内の局所的外観を超えた文脈情報を無視するという限界を是正すること。
• オブジェクト提案間の意味的および空間的関係をモデル化し、グローバルなシーンコンテキストを統合することで、検出精度を向上させること。
• 学習された文脈制約を用いて、すべての提案間で意味的整合性を保証する完全結合型CRFとしてオブジェクト検出を定式化すること。
• 高速な平均場近似法を用いて、CRFモデルにおける効率的な推論を実現すること。
• 文脈モデリングが、PASCAL VOC 2007のようなベンチマークデータセットにおいて顕著な性能向上をもたらすことを示すこと。

提案手法

• Faster R-CNNを用いて、スコアとボクセル位置を入力ノードとして持つCRFにオブジェクト提案を生成する。
• CRFの単一潜在変数（Unary potentials）は、各提案のFaster R-CNN分類スコアから直接導出される。
• ペairワイズ潜在変数（Pairwise potentials）は、オブジェクト提案間の意味的類似性（オブジェクトカテゴリの共起）と空間的近接性（相対的位置）に基づいて定義される。
• グローバルなシーンコンテキストは、事前学習済みのCNNを用いてシーン分類を実行し、画像内に特定のオブジェクトカテゴリが存在する確率を推定することで捉える。
• 文脈モデルは、すべての提案ペair間の文脈制約を表すエッジを持つ完全結合型CRFとして形式化される。
• すべての提案に対してラベルと信頼度スコアを同時に予測するため、高速な平均場近似法を用いて効率的な推論を実行する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト同士の関係性やグローバルなシーン理解から得られる文脈的情報を統合することで、局所的外観特徴を超えたオブジェクト検出の性能向上が可能か？
• RQ2 相互に干渉するオブジェクト間の空間的および意味的関係は、曇りや隠蔽状態にあるような曇った状況での検出信頼度や正確性にどのように影響を与えるか？
• RQ3 グローバルなシーンコンテキストは、特に低解像度や隠蔽状態にあるオブジェクトの曇りを解消するのにどの程度有効か？
• RQ4 Faster R-CNNのような既存の2段階検出器に、深層特徴ベースの文脈モデルを再トレーニングなしに効率的に統合可能か？
• RQ5 提案されたCRFベースのフレームワークは、誤検出が顕著なオブジェクトカテゴリにおいても一貫してmAPを向上させるか？

主な発見

• 提案手法は、Faster R-CNNベースラインと比較して、PASCAL VOC 2007データセットでmAPを0.87%向上させた。
• 'bottle'カテゴリでは、平均精度（AP）が3.4%向上し、低視認性のオブジェクトに対して顕著な向上を示した。
• VGG-16バックボーンを用いた場合、20のカテゴリのうち18のカテゴリで検出性能が向上し、少数のクラスを除いてわずかな劣化にとどまった。
• 局所的、関係的、グローバルなコンテキストの統合により、より意味的に整合性のある予測が得られ、曇ったシーンにおける誤検出が減少した。
• 異なるバックボーンネットワークにわたっても一般化性能が高く、ZFおよびVGG-16の両方の特徴に対して一貫した向上を示した。
• 可視化結果から、複雑なシーンにおける誤予測の是正が図られていることが確認されたが、グローバルなシーン認識に失敗した場合（例：湖でないシーンを湖と誤認）には性能が低下する可能性がある。