[論文レビュー] On the Utility of Context (or the Lack Thereof) for Object Detection.

Ehud Barnea, Ohad Ben‐Shahar|arXiv (Cornell University)|Nov 15, 2017

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

この論文は、文脈が物体検出においてしばしば僅かな向上しかもたらさない理由を、検出スコアを検出器の出力と文脈的関係の関数としてモデル化し、文脈の活用を最適化問題として定式化することで調査している。文脈は主に分類誤りの是正に役立つが、局所化誤りの是正には役立たないことが判明し、検出性能における実用的向上が限定的である理由が説明される。

ABSTRACT

The recurring context in which objects appear holds valuable information that can be employed to predict their existence. This intuitive observation indeed led many researchers to endow appearance-based detectors with explicit reasoning about context. The underlying thesis suggests that with stronger contextual relations, the better improvement in detection capacity one can expect from such a combined approach. In practice, however, the observed improvement in many case is modest at best, and often only marginal. In this work we seek to understand this phenomenon better, in part by pursuing an opposite approach. Instead of going from context to detection score, we formulate the score as a function of standard detector results and contextual relations, an approach that allows to treat the utility of context as an optimization problem in order to obtain the largest gain possible from considering context in the first place. Analyzing different contextual relations reveals the most helpful ones and shows that in many cases including context can help while in other cases a significant improvement is simply impossible or impractical. To better understand these results we then analyze the ability of context to handle different types of false detections, revealing that contextual information cannot ameliorate localization errors, which in turn also diminish the observed improvement obtained by correcting other types of errors. These insights provide further explanations and better understanding regarding the success or failure of utilizing context for object detection.

研究の動機と目的

• 実際の物体検出に文脈を組み込むと性能向上が僅かにしか得られない理由を理解すること。
• 文脈的推論が、さまざまな種類の検出誤りを是正する際の限界を調査すること。
• 文脈の有効性を最適化問題としてモデル化し、検出性能の向上を最大化すること。
• 検出性能の向上に最も効果的な文脈的関係を特定すること。
• 文脈を組み込むことが、ある閾値を超えて検出性能を向上させることに非現実的または不可能な状況を特定すること。

提案手法

• 標準的な検出器の出力と文脈的関係の関数として検出スコアを定式化し、文脈の貢献度を最適化可能にする。
• 空間的・意味的関係など、さまざまな種類の文脈的関係を分析し、それらが検出性能に与える相対的影響を評価する。
• 文脈統合を最適化問題として扱い、文脈情報からの最大限の向上を同定する。
• 文脈が、特に偽陽性と局所化誤りといった異なる誤りタイプを是正できるかを評価する。
• 実証的分析を用いて、さまざまな誤りカテゴリにおいて、文脈ありとなしの検出性能を比較する。
• このフレームワークを応用し、局所化誤りが支配的である場合に文脈が無効となる状況を同定する。

実験結果

リサーチクエスチョン

• RQ1 なぜ物体検出における文脈統合はしばしば僅かな性能向上しかもたらさないのか？
• RQ2 どの種類の文脈的関係が検出精度の向上に最も寄与するのか？
• RQ3 文脈情報は物体検出における局所化誤りを効果的に是正できるか？
• RQ4 どのような条件下で、文脈を用いて検出性能を向上させることは非現実的または不可能なのか？
• RQ5 文脈の有効性は、偽陽性と局所化誤りの種類によってどのように変化するのか？

主な発見

• 文脈情報は局所化誤りを是正できないため、検出性能の向上に対する全体的な有効性が著しく制限される。
• 文脈の主な利点は、意味的および空間的推論を通じて偽陽性を低減することにある。
• 最適な文脈統合が行われても、局所化誤りが存在する限り、性能向上は制限される。
• 特に不正確なバウンディングボックス予測を伴う誤りタイプは、文脈に基づく是正が無効になる。
• 局所化誤りが修復不能な性質を持つため、理論的な文脈の可能性は実際には実現されにくい。
• 本研究は、文脈の有効性が、ベース検出器の出力に存在する誤りタイプによって根本的に制限されることを同定した。