[論文レビュー] Unsupervised Domain Adaptation for 3D Keypoint Prediction from a Single Depth Scan.

Xingyi Zhou, Arjun Karpur+3 more|arXiv (Cornell University)|Dec 15, 2017

Human Pose and Action Recognition参考文献 43被引用数 10

ひとこと要約

本稿では、同一オブジェクトの複数のビュー間で視点の一貫性を強制し、幾何的アライメント損失を導入することで、1枚の深度スキャンからの3Dキーポints予測のための教師なしドメイン変換手法を提案する。統一された損失関数の交互最適化により、実世界のデータセットにおいて最先端のドメイン変換技術を上回る優れた性能を達成する。

ABSTRACT

In this paper, we introduce a novel unsupervised domain adaptation technique for the task of 3D keypoint prediction from a single depth scan/image. Our key idea is to utilize the fact that predictions from different views of the same or similar objects should be consistent with each other. Such view consistency provides effective regularization for keypoint prediction on unlabeled instances. In addition, we introduce a geometric alignment term to regularize predictions in the target domain. The resulting loss function can be effectively optimized via alternating minimization. We demonstrate the effectiveness of our approach on real datasets and present experimental results showing that our approach is superior to state-of-the-art general-purpose domain adaptation techniques.

研究の動機と目的

• 合成データで学習し、実際の深度スキャンでテストする際のドメインシフトの課題に対処すること。
• ターゲットドメインのキーポイントラベルが不要な状況において、複数の視点の一貫性を活用してラベルなしの実ドメインデータを活用すること。
• ターゲットドメインにおける幾何的正則化を導入することで、現実世界のシナリオへの一般化を向上させること。
• 交互最小化を用いて効果的なドメイン変換を可能にする損失関数を開発すること。
• 視点の一貫性と幾何的アライメントが、ターゲットドメインにおける教師なし環境でも予測のロバスト性を向上させることを示すこと。

提案手法

• 同じ3Dオブジェクトの複数のビューからの予測を用いて一貫性を強制し、一貫性のある予測を自己教師学習の一種として扱う。
• 予測されたキーポイントの位置がオブジェクトの元の3Dジオメトリに一致するように正則化する幾何的アライメント項を導入する。
• 視点の一貫性と幾何的アライメントを統合した損失関数を、交互最小化により最適化する。
• 同じオブジェクトの異なる角度からのビューであっても、予測が空間的に一貫しているはずであるという事実を活用する。
• ラベルなしのターゲットドメインデータを用いて、ビュー間の不一致を最小化し、幾何的妥当性を強制することで予測を精緻化する。
• ソース（合成）ドメインとターゲット（実）ドメインの両方で、組み合わせ損失を用いて共同で訓練する深層ニューラルネットワークをキーポイント回帰に用いる。

実験結果

リサーチクエスチョン

• RQ1 同一オブジェクトの複数のビュー間での視点の一貫性は、3Dキーポイント予測における教師なしドメイン変換の有効な自己教師的サブスクリプションとして機能するか？
• RQ2 幾何的アライメントを組み込むことで、ターゲットドメインにおけるキーポイント予測のロバスト性と正確性はどのように向上するか？
• RQ3 本手法は、一般的なドメイン変換技術と比較して、どの程度ドメインシフトを低減するか？
• RQ4 視点の一貫性と幾何的正則化の組み合わせは、実世界の深度データにおいて、既存のSOTAドメイン変換手法を上回ることができるか？

主な発見

• 提案手法は、最先端の汎用的ドメイン変換技術と比較して、実世界のデータセットにおいて優れた性能を達成する。
• 複数のビュー間での視点の一貫性は、ターゲットドメインのラベルが存在しない状況でも、予測の一貫性と一般化性能を顕著に向上させる。
• 幾何的アライメント項は、特に困難な現実世界のシナリオにおいて、予測されたキーポイント位置の妥当性を高める。
• 交互最小化戦略は、組み合わせ損失関数の最適化を効果的に行い、安定した収束と性能向上をもたらす。
• 本手法は、ラベル付きターゲットインスタンスが一切不要な状態で、合成ソースデータから実ターゲットデータへの強いゼロショット一般化を示す。
• 実験的結果から、視点の一貫性と幾何的正則化の組み合わせが、より正確でロバストな3Dキーポイント予測をもたらすことが確認された。