[論文レビュー] AutoLink: Self-supervised Learning of Human Skeletons and Object Outlines by Linking Keypoints

Xingzhe He, Bastian Wandt+1 more|arXiv (Cornell University)|May 21, 2022

Human Pose and Action Recognition被引用数 11

ひとこと要約

AutoLinkは、共有グラフ構造を通じて2次元キーポintsの位置とそれらのペアワイズ接続を同時に予測することにより、自己教師あり手法で解釈可能な人間の骨格と物体の輪郭を学習する。マスクされた画像に対する自己符号化器とグラフベースのエッジマップを用いた再構成を強制することで、構造と外観を分離し、動物、手、ポートレートを含む多様なオブジェクトクラスに一般化し、ベンチマークで最先端のキーポイント局在化を達成する。

ABSTRACT

Structured representations such as keypoints are widely used in pose transfer, conditional image generation, animation, and 3D reconstruction. However, their supervised learning requires expensive annotation for each target domain. We propose a self-supervised method that learns to disentangle object structure from the appearance with a graph of 2D keypoints linked by straight edges. Both the keypoint location and their pairwise edge weights are learned, given only a collection of images depicting the same object class. The resulting graph is interpretable, for example, AutoLink recovers the human skeleton topology when applied to images showing people. Our key ingredients are i) an encoder that predicts keypoint locations in an input image, ii) a shared graph as a latent variable that links the same pairs of keypoints in every image, iii) an intermediate edge map that combines the latent graph edge weights and keypoint locations in a soft, differentiable manner, and iv) an inpainting objective on randomly masked images. Although simpler, AutoLink outperforms existing self-supervised methods on the established keypoint and pose estimation benchmarks and paves the way for structure-conditioned generative models on more diverse datasets. Project website: https://xingzhehe.github.io/autolink/.

研究の動機と目的

• 骨格や輪郭のような構造的オブジェクト表現を学習する汎用的で自己教師ありの手法の不足に対処すること。
• 高価なドメイン特化型アノテーションを必要とする教師ありキーポイント学習の限界を克服すること。
• 共有グラフを潜在変数として用いることで、外観から構造的トポロジーを分離すること。
• 人間中心のデータを超えて、困難なテクスチャーや制御不能な背景を含む多様な画像ドメインに一般化できる手法を開発すること。
• ラベル付きキーポイントデータに依存せずに構造条件付き画像生成を可能とすること。

提案手法

• この手法は、入力画像からキーポイント位置を予測する畳み込みエンコーダを用いる。
• 学習可能なエッジ重みを持つ共有グラフが潜在変数として機能し、同じクラスに属するすべての画像間で一貫したトポロジーをモデル化する。
• 中間の微分可能エッジマップがキーポイント位置とエッジ重みを組み合わせ、空間的に注意を向けるソフトなエッジ表現を生成する。
• モデルは、ランダムにマスクされたピクセルを持つ画像に対する自己符号化器の再構成目的で訓練され、デコーダが構造的ヒントに依存するよう強制される。
• グラフボトルネックにより、外観とは分離された構造的情報のみが保持される。
• 訓練目的は、高精度でトポロジーに注意を向けたキーポイントグラフを生成させることを促進し、高精細な画像再構成と生成を支援する。

実験結果

リサーチクエスチョン

• RQ1 アノテーション付きキーポイントデータが一切ない状況でも、自己教師あり手法が一貫性があり解釈可能なオブジェクト構造（例：人間の骨格、物体の輪郭）を学習できるか？
• RQ2 キーポイント接続の共有グラフが、多様な画像ドメインにわたる構造的一致性を強制するのにどの程度効果的か？
• RQ3 グラフベースのボトルネックとマスク画像再構成を用いることで、構造と外観の分離を達成できるか？
• RQ4 キーポイント同士の明示的なリンクをモデル化することで、キーポイントを独立した部分として扱う手法と比較して、キーポイント局在化の正確性が向上するか？
• RQ5 学習された構造が、多様なデータセットにわたる条件付き画像生成といった下流タスクをどの程度サポートできるか？

主な発見

• AutoLinkは、CUB、DeepFashion、Human3.6Mといった既存のベンチマークで、既存の自己教師あり手法を上回る最先端のキーポイント局在化精度を達成した。
• この手法は、人物、動物、手、花を含む多様なデータセットにおいて、クリッターバックグラウンドや複雑なテクスチャーやにもかかわらず、人間の骨格トポロジーと物体の輪郭を効果的に回復した。
• 11k Hands、Horses、Zebras、Taichiといった新しいドメインに対しても、モデルは良好に一般化し、人間中心のデータを超えた頑健性を示した。
• グラフベースのエッジマップとマスク画像再構成を用いることで、構造的情報と外観が効果的に分離され、正確な構造予測が可能になった。
• 学習されたキーポイントグラフは、自己符号化器およびGANを用いた高品質な条件付き画像生成を可能にした。構造駆動型生成は視覚的忠実度が向上した。
• 可視化により、モデルが多様な画像クラスにわたって意味的でトポロジー一貫性のある接続（例：四肢や身体部位が正しく接続）を学習していることが確認された。