[論文レビュー] FBI-Pose: Towards Bridging the Gap between 2D Images and 3D Human Poses using Forward-or-Backward Information

Yulong Shi, Xiaoguang Han+4 more|arXiv (Cornell University)|Jun 25, 2018

Human Pose and Action Recognition参考文献 31被引用数 12

ひとこと要約

本論文では、ボーンの前方・後方情報（FBI）を弱教師信号として導入することで、2D画像と3D人体ポーズ推定のギャップを埋める新規フレームワーク、FBI-Poseを提案する。2本のブランチを持つConvNetを用いて2D関節位置とFBIを同時に回帰し、その後に3Dポーズ回帰器を適用することで、3Dリフトの曖昧性を低減し、FBIラベルが付与された12,000枚のイン・ザ・ワイルド画像を用いて、標準ベンチマークで最先端の性能を達成する。

ABSTRACT

Although significant advances have been made in the area of human poses estimation from images using deep Convolutional Neural Network (ConvNet), it remains a big challenge to perform 3D pose inference in-the-wild. This is due to the difficulty to obtain 3D pose groundtruth for outdoor environments. In this paper, we propose a novel framework to tackle this problem by exploiting the information of each bone indicating if it is forward or backward with respect to the view of the camera(we term it Forwardor-Backward Information abbreviated as FBI). Our method firstly trains a ConvNet with two branches which maps an image of a human to both the 2D joint locations and the FBI of bones. These information is further fed into a deep regression network to predict the 3D positions of joints. To support the training, we also develop an annotation user interface and labeled such FBI for around 12K in-the-wild images which are randomly selected from MPII (a public dataset of 2D pose annotation). Our experimental results on the standard benchmarks demonstrate that our approach outperforms state-of-the-art methods both qualitatively and quantitatively.

研究の動機と目的

• 3Dアノテーションデータの不足による、イン・ザ・ワイルドにおける3D人体ポーズ推定の課題に対処すること。
• 3Dに適応した弱教師付き信号を組み込むことで、2D関節を3Dポーズにリフトする際の曖昧性を低減すること。
• イン・ザ・ワイルド画像におけるボーンの前方／後方情報（FBI）をラベリングするための効率的なアノテーションインターフェースを開発すること。
• FBI監視が従来の2段階的2D→3Dパイプラインを上回る3Dポーズ推定性能を向上させることを実証すること。

提案手法

• 本手法は、1枚のRGB画像から2D関節位置と各ボーンのFBIを予測する2本のブランチを持つConvNetを用いる。
• FBIは、ボーンがカメラに対してどの方向を向いているかを示す方向的性質であり、関節が前方か後方かを示す。
• 予測された2D関節位置とFBIが連結され、深層回帰ネットワークに供給され、3D関節座標が予測される。
• FBI分類の困難なケースに重点を置くために、重み付き損失戦略が訓練段階で適用される。
• 独自のアノテーションインターフェースを用いて手動でラベル付けされた12,000枚のイン・ザ・ワイルド画像から構成される新規データセットを用いて、モデルをファインチューニングする。
• 3DポーズをFBIラベルに変換するためのしきい値角度として35°が使用され、アブレーションスタディにより最適化されている。

実験結果

リサーチクエスチョン

• RQ1 人体ボーンの前方／後方情報（FBI）は、2D画像からの3D人体ポーズ推定における曖昧性を効果的に低減できるか？
• RQ2 FBIを弱教師付き信号として組み込むことで、標準的な2D→3Dリフト手法と比較して、3Dポーズ推定性能がどのように向上するか？
• RQ3 3DポーズをFBIラベルに変換するための最適なしきい値角度は何か？また、その値が性能に与える影響は？
• RQ4 大規模かつ弱教師付きのFBIデータセットは、イン・ザ・ワイルド画像への一般化性能を向上させるか？
• RQ5 2DポーズとFBIの共同学習は、2Dおよび3Dコンponentを別々に学習する場合よりも、より高い3Dポーズ精度を達成できるか？

主な発見

• 提案されたFBI-Pose手法は、イン・ザ・ワイルド画像においてFBI予測の正答率が78%に達し、最先端手法[33]を3ポイント上回る。
• アブレーションスタディにより、FBI分類に重み付き監視を適用することで性能が向上し、特に「座り込む」ような複雑なポーズにおいて顕著である。
• イン・ザ・ワイルドFBIデータセットでのファインチューニングにより、FBI正答率が58%から78%に上昇し、顕著な一般化性能の向上が示された。
• FBI変換の最適なしきい値角度は、H3.6Mプロトコル#1におけるアブレーション実験から35°であると特定された。
• 本手法は、標準ベンチマークで定量的・定性的に最先端の結果を達成し、2D-3Dポーズギャップを埋める有効性を検証した。