[論文レビュー] Looking out of the window: object localization by joint analysis of all windows in the image.

Alexander Vezhnevets, Vittorio Ferrari|arXiv (Cornell University)|Jan 6, 2015

Advanced Image and Video Retrieval Techniques参考文献 30被引用数 5

ひとこと要約

この論文では、画像内のすべてのウィンドウを同時に分析するための共同ウィンドウ解析手法を提案する。各ウィンドウのスコアは、単独で評価するのでなく、画像全体における外観類似度および空間的関係に基づいて算出される。構造的出力回帰を用いて構造的スコア関数を最適化することで、ImageNet において、従来のウィンドウ独立手法よりも顕著な精度向上を達成した。

ABSTRACT

Traditionally, object localization is cast as an image window classification problem, where each window is considered independently and scored based on its appearance alone. Instead, we propose a method which scores each candidate window in the context of all other windows in the image, taking into account their similarity in appearance space as well as their spatial relations in the image plane. We devise a fast and exact procedure to optimize our score function over all candidate windows in an image, and we learn its parameters using structured output regression. We demonstrate on 92000 images from ImageNet that this significantly improves localization over some of the best recent techniques that score windows in isolation.

研究の動機と目的

• 従来の物体検出手法が、ウィンドウ間の関係を考慮せずに個々のウィンドウを独立してスコア化するという限界を解決する。
• 画像内のすべての候補ウィンドウ間の外観類似度および空間的関係をモデル化することで、物体検出の精度を向上させる。
• 画像内のすべてのウィンドウに対して、提案された共同スコア関数を効率的に最適化する手順を開発する。
• 構造的出力回帰を用いてスコア関数のパラメータを学習し、予測結果を真値の物体位置とよりよく一致させる。

提案手法

• 各画像ウィンドウを候補オブジェクト提案としてモデル化し、深層特徴を用いてその外観表現を計算する。
• 画像内に存在するすべてのウィンドウペア間の外観ベースの類似度と空間的近接度を組み合わせた、共同スコア関数を定義する。
• 近似を避ける高速かつ正確な推論手順を用いて、すべての候補ウィンドウ上でスコア関数を最適化する。
• 画像特徴から構造的出力（物体位置）を予測するモデルとして、構造的出力回帰を用いてスコア関数のパラメータを学習する。
• 構造的予測フレームワークを用いて、最終的な物体検出出力が外観および空間的文脈と整合するように保証する。

実験結果

リサーチクエスチョン

• RQ1 ウィンドウ間の関係をモデル化することで、ウィンドウ独立スコア化を上回る物体検出の精度向上が達成できるか？
• RQ2 すべてのウィンドウにわたる外観および空間的文脈の共同分析は、物体検出精度にどのように影響するか？
• RQ3 大規模な画像における共同ウィンドウスコアリングに適した正確かつ効率的な最適化手順を設計できるか？
• RQ4 標準的な回帰手法と比較して、構造的出力学習は真値の物体位置との一致度を向上させるか？

主な発見

• 提案手法は、ウィンドウを独立してスコア化する最先端技術よりも顕著な物体検出精度の向上を達成した。
• 外観類似度および空間的関係の共同モデリングにより、より一貫性があり正確な物体検出予測が得られた。
• 正確な最適化手順により、近似誤差なしにすべての候補ウィンドウに対する効率的な推論が可能になった。
• 構造的出力回帰は、ImageNet における真値の物体位置との一致度を高めるために、共同スコア関数のパラメータを効果的に学習した。