[論文レビュー] Zoom Better to See Clearer: Human and Object Parsing with Hierarchical Auto-Zoom Net

Fangting Xia, Peng Wang+2 more|arXiv (Cornell University)|Nov 21, 2015

Multimodal Machine Learning Applications参考文献 47被引用数 13

ひとこと要約

本論文は、人間および動物の部位抽出のための最適スケールに画像領域を段階的に適応的に拡大する2段階の完全畳み込みネットワークであるHierarchical Auto-Zoom Net (HAZN)を提案する。まずオブジェクトのスケールを推定し、その後スケール適応型ズームを用いて部位レベルの抽出を精緻化することで、PASCALデータセットにおける小規模なインスタンスや細粒度の部位境界に対して、最先端手法よりもmIOUを5%向上させる。

ABSTRACT

Parsing articulated objects, e.g. humans and animals, into semantic parts (e.g. body, head and arms, etc.) from natural images is a challenging and fundamental problem for computer vision. A big difficulty is the large variability of scale and location for objects and their corresponding parts. Even limited mistakes in estimating scale and location will degrade the parsing output and cause errors in boundary details. To tackle these difficulties, we propose a "Hierarchical Auto-Zoom Net" (HAZN) for object part parsing which adapts to the local scales of objects and parts. HAZN is a sequence of two "Auto-Zoom Net" (AZNs), each employing fully convolutional networks that perform two tasks: (1) predict the locations and scales of object instances (the first AZN) or their parts (the second AZN); (2) estimate the part scores for predicted object instance or part regions. Our model can adaptively "zoom" (resize) predicted image regions into their proper scales to refine the parsing. We conduct extensive experiments over the PASCAL part datasets on humans, horses, and cows. For humans, our approach significantly outperforms the state-of-the-arts by 5% mIOU and is especially better at segmenting small instances and small parts. We obtain similar improvements for parsing cows and horses over alternative methods. In summary, our strategy of first zooming into objects and then zooming into parts is very effective. It also enables us to process different regions of the image at different scales adaptively so that, for example, we do not need to waste computational resources scaling the entire image.

研究の動機と目的

• 自然画像における人間、馬、牛のオブジェクト部位抽出において、大規模なスケールおよび位置の変動に起因する課題に対処すること。
• 局所的なスケールに合わせたネットワーク推論の適応化を通じて、特に小スケールのオブジェクトや細粒度の部位の抽出精度を向上させること。
• 画像全体を均一にリサイズするのではなく、異なる領域を異なるスケールで処理することで、計算リソースの無駄を減らすこと。
• 固定スケールの特徴抽出や事前定義された提案に依存せずに、エンドツーエンドでスケール適応型の部位抽出を可能にすること。

提案手法

• HAZNは、完全畳み込みネットワーク（FCN）に基づく2つの連続するAuto-Zoom Net（AZN）を用い、オブジェクトおよび部位の位置とスケールを予測する。
• 最初のAZNはオブジェクトインスタンスを検出し、信頼度スコアとともにバウンディングボックスを推定し、双線形補間またはダウンサンプリングにより固定スケールにリサイズする。
• 2番目のAZNはリサイズされたオブジェクト領域に適用され、部位レベルのバウンディングボックスを予測し、適切なスケールで部位スコアマップを精緻化する。
• 最終的なFCNはズームインした部位領域を処理し、精緻化された高解像度の部位セグメンテーションマップを生成する。
• 複数の粒度レベルにおけるスケール適応型特徴学習を活用することで、スケール推定と部位抽出を同時に最適化する。
• 全体のリサイズを避ける代わりに、スケール最適化された関連領域にのみ計算を集中させることで、効率性と精度の両方を向上させる。

実験結果

リサーチクエスチョン

• RQ1 大規模なスケールおよび位置の変動を示すオブジェクトの部位抽出において、適応的スケール推定が性能向上に寄与するか？
• RQ2 オブジェクトにズームインした後、その部位にさらにズームインすることで、固定スケール手法に比べて境界や部位の詳細回復が向上するか？
• RQ3 提案手法は人間を越えて、馬や牛のような可動関節を持つ動物に対しても一般化可能か？
• RQ4 スケール適応が、通常のネットワークでは困難とされる小スケールのインスタンスや小部位の性能にどのように影響するか？

主な発見

• HAZNは、PASCAL-Person-Partデータセットにおける人間部位抽出において、最先端手法よりも5%高い平均インターセクションオーバーユニオン（mIOU）を達成した。
• モデルは小スケールの人間インスタンスにおいて顕著に優れた性能を示し、下腕・下肢などの細部を正確に回復できた。
• 馬および牛のデータセットでは、前回の最先端手法に比べてmIOUが約5%向上し、テールや頭部などの小部位では10%以上の向上を記録した。
• 可視化結果では、複雑なポーズや隠蔽状態においても境界が明確になり、背景や隣接部位との局所的混同が顕著に減少した。
• 全体を1つのスケールで処理するのではなく、関連領域にのみスケール適応を適用することで、計算リソースの無駄を効果的に削減した。