[論文レビュー] Neural View Synthesis and Matching for Semi-Supervised Few-Shot Learning of 3D Pose

Angtian Wang, Shenxiao Mei+2 more|arXiv (Cornell University)|Oct 27, 2021

Human Pose and Action Recognition参考文献 56被引用数 5

ひとこと要約

本論文は、ニューラルビュー合成とマッチング（NVSM）を用いた半教師あり少数ショット3次元ポーズ推定フレームワークを提案する。この手法は、ラベル付き画像から3次元ポーズアノテーションを、新しい3次元ビューの特徴マップを合成し、空間的にマッチングさせることで、ラベルなしデータへと転送する。本手法は、特に7枚のラベル付き画像での設定において最先端の性能を達成し、対照的学習による反復的特徴精錬を通じて、部分的遮蔽や大きなポーズ変動に対しても強く頑健である。

ABSTRACT

We study the problem of learning to estimate the 3D object pose from a few labelled examples and a collection of unlabelled data. Our main contribution is a learning framework, neural view synthesis and matching, that can transfer the 3D pose annotation from the labelled to unlabelled images reliably, despite unseen 3D views and nuisance variations such as the object shape, texture, illumination or scene context. In our approach, objects are represented as 3D cuboid meshes composed of feature vectors at each mesh vertex. The model is initialized from a few labelled images and is subsequently used to synthesize feature representations of unseen 3D views. The synthesized views are matched with the feature representations of unlabelled images to generate pseudo-labels of the 3D pose. The pseudo-labelled data is, in turn, used to train the feature extractor such that the features at each mesh vertex are more invariant across varying 3D views of the object. Our model is trained in an EM-type manner alternating between increasing the 3D pose invariance of the feature extractor and annotating unlabelled data through neural view synthesis and matching. We demonstrate the effectiveness of the proposed semi-supervised learning framework for 3D pose estimation on the PASCAL3D+ and KITTI datasets. We find that our approach outperforms all baselines by a wide margin, particularly in an extreme few-shot setting where only 7 annotated images are given. Remarkably, we observe that our model also achieves an exceptional robustness in out-of-distribution scenarios that involve partial occlusion.

研究の動機と目的

• 最小限の人為的アノテーションデータを用いた3次元ポーズ推定の課題に取り組むこと、特に少数ショットおよび半教師あり設定における課題に焦点を当てる。
• テクスチャ、照明、遮蔽などの不要要因や大きなポーズ変動が存在する中でも、わずかにラベル付きの画像から多数のラベルなし画像へ3次元ポーズアノテーションを信頼性高く転送できることを実現すること。
• ラベルなしデータの疑似ラベルを用いて反復的に特徴抽出器を精錬することで、3次元オブジェクトのポーズ変化に対して不変な特徴表現を向上させること。

提案手法

• オブジェクトは、ラベル付き画像から初期化された各頂点に学習可能な特徴ベクトルを持つ3次元キューブイドメッシュとして表現される。
• ニューラルビュー合成は、メッシュを回転させ、ラベル付き画像のCNN特徴からサンプリングされた特徴ベクトルをラスタライズすることで、新しい3次元ビューの特徴マップを生成する。
• 合成された特徴マップとラベルなし画像の特徴との間で空間的マッチングが行われ、マッチングスコアに基づいてラベルなし画像に疑似ラベルが割り当てられる。
• 対照的損失が疑似ラベル付きデータに適用され、異なる3次元ポーズ間で対応するメッシュ頂点における特徴類似性を強制することで、ポーズ不変性が向上する。
• 疑似ラベルの付与と特徴抽出器の精錬を交互に繰り返すことで、EMに類似した反復的最適化プロセスが実行される。
• 初期特徴抽出には事前学習済みのImageNet CNNバックボーンが用いられ、合成およびマッチングされた特徴に基づく対照的学習によって微調整される。

実験結果

リサーチクエスチョン

• RQ1 大きなポーズ変動や不要要因（テクスチャ、照明、遮蔽など）が存在する中でも、わずかにラベル付きの画像から多数のラベルなし画像へ3次元ポーズアノテーションを信頼性高く転送できるか。
• RQ2 3次元ポーズの変化に対して不変な特徴表現をどのように実現できるか。正確なポーズ推定を維持しつつ、特徴の識別的構造を保持するには。
• RQ3 7枚のラベル付きサンプルしか利用できない状況で、半教師ありフレームワークが少数ショット3次元ポーズ推定の性能をどの程度向上できるか。
• RQ4 部分的遮蔽のような分布外のシナリオに対しても、提案手法が頑健に一般化できるか。
• RQ5 疑似ラベル付けと対照的学習による反復的精錬が、トレーニングエポックを経てどのように特徴品質とポーズ推定精度を向上させるか。

主な発見

• 提案されたNVSMフレームワークは、PASCAL3D+およびKITTIデータセットで最先端の性能を達成しており、とくに7枚のラベル付き画像での極端な少数ショット設定において顕著である。
• 7枚のラベル付き画像での設定において、すべてのベースラインを大きく上回り、低データ環境下における半教師あり学習パラダイムの有効性を示している。
• 部分的遮蔽に対しても非常に高い頑健性を示し、オブジェクトが著しく遮蔽されても高い精度を維持している。
• トレーニングを経るうちに空間的マッチングの品質が著しく向上し、最初の20エポック以内で性能が急激に上昇しており、効果的な特徴学習が行われていることが示唆される。
• PCAを用いた特徴可視化により、対照的損失の促進によって、空間的に一貫性があり、頂点ごとに識別可能なオブジェクトに特化した特徴表現が学習されていることが確認された。
• 対照的損失は、異なるポーズ間で対応するメッシュ頂点における特徴類似性を効果的に促進するとともに、異なる頂点間での特徴の明確な差異を維持している。