[論文レビュー] Zoom Better to See Clearer: Human Part Segmentation with Auto Zoom Net.

Fangting Xia, Peng Wang+2 more|arXiv (Cornell University)|Nov 21, 2015

Advanced Neural Network Applications被引用数 32

ひとこと要約

本稿では、反復的に自己適応ズームを用いて人間の部位セグメンテーションを段階的に精緻化する統合的完全畳み込みネットワークであるAuto-Zoom Net (AZN) を提案する。本手法は、インスタンスの位置・スケールを同時に予測し、適応的ズームを用いて解析を精緻化することで、特に小スケールの部位において顕著な精度向上を達成し、PASCAL-Person-Part で最先端モデルを上回り、馬および牛のセグメンテーションベンチマークでも5%以上の向上を達成した。

ABSTRACT

Parsing human regions into semantic parts, e.g., body, head and arms etc., from a random natural image is challenging while fundamental for computer vision and widely applicable in industry. One major difficulty to handle such a problem is the high flexibility of scale and location of a human instance and its corresponding parts, making the parsing task either lack of boundary details or suffer from local confusions. To tackle such problems, in this work, we propose the Auto-Zoom Net (AZN) for human part parsing, which is a unified fully convolutional neural network structure that: (1) parses each human instance into detailed parts. (2) predicts the locations and scales of human instances and their corresponding parts. In our unified network, the two tasks are mutually beneficial. The score maps obtained for parsing help estimate the locations and scales for human instances and their parts. With the predicted locations and scales, our model zooms the region into a right scale to further refine the parsing. In practice, we perform the two tasks iteratively so that detailed human parts are gradually recovered. We conduct extensive experiments over the challenging PASCAL-Person-Part segmentation, and show our approach significantly outperforms the state-of-art parsing techniques especially for instances and parts at small scale. In addition, we perform experiments for horse and cow segmentation and also obtain results which are considerably better than state-of-the-art methods (by over 5%)., which is contribued by the proposed iterative zooming process.

研究の動機と目的

• 自然画像における人間のスケールおよび位置の高い変動性に起因する、正確な部位セグメンテーションの困難さに対処すること。
• スケールおよび空間的柔軟性に起因する境界ディテールの損失や局所的誤解を克服すること。
• 人間インスタンスの位置・スケールを同時に予測し、部位セグメンテーションを精緻化する統合的ディープラーニングフレームワークの構築。
• 予測されたスケールおよび位置に基づく自己適応ズームを用いて、部位セグメンテーションの反復的精緻化を可能にすること。
• 小スケールの人間部位において優れた性能を発揮し、馬や牛などの他の動物種にも一般化可能であること。

提案手法

• 人間部位セグメンテーションとインスタンススケール／位置予測の両方を実行する統合的完全畳み込みニューラルネットワークの設計。
• パーサルスコアマップを用いて、人間インスタンスおよびその部位の位置とスケールを推定する。
• 予測されたスケールおよび位置に基づき、関心領域に対して自己適応ズームを適用して特徴の解像度を向上させる。
• ズームインした領域に対してネットワークを再適用することで、細粒度のディテールを回復させる反復的精緻化を実施する。
• パーサルとロケーションの監視を統合したジョイント損失関数を用いて、エンド・トゥ・エンドでネットワークを訓練する。
• マルチスケール特徴および空間アテンションを活用し、スケール変動およびオクルージョンに対して高いロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 人間インスタンスのスケールおよび位置を同時に予測することで、人間部位セグメンテーションの精度が向上するか？
• RQ2 予測されたスケールおよび位置に基づく反復的ズームは、小スケールの人間部位における境界ディテール回復を向上させるか？
• RQ3 提案手法は、人間以外の動物種、例えば馬や牛に対しても一般化可能か？
• RQ4 Auto-Zoom Net は、PASCAL-Person-Part などの困難なベンチマークで最先端手法と比較して、どのように性能を発揮するか？
• RQ5 反復的ズームメカニズムは、局所的誤解をどれほど低減し、セグメンテーションの一貫性を向上させるか？

主な発見

• Auto-Zoom Net は、PASCAL-Person-Part ベンチマークにおいて、特に小スケールの人間部位において、最先端手法を顕著に上回った。
• 馬および牛のセグメンテーションにおいて、既存手法と比較して5%以上の高いmAPを達成し、優れた一般化性能を示した。
• 反復的ズームにより、部位境界の段階的精緻化が可能となり、より正確で詳細なセグメンテーションマップが得られた。
• スケールおよび位置の共同予測により、局所化精度が向上し、その結果、ズーム特徴の品質も向上した。
• エンド・トゥ・エンド訓練が可能な統合ネットワークアーキテクチャは、カスケード型または分離型アプローチよりも優れた性能を発揮した。
• 本手法はスケール変動およびオクルージョンに対してロバストであり、混雑したシーンであっても高い性能を維持した。