[論文レビュー] Conservative Wasserstein Training for Pose Estimation

Xiaofeng Liu, Yang Zou+5 more|arXiv (Cornell University)|Nov 3, 2019

Human Pose and Action Recognition参考文献 59被引用数 16

ひとこと要約

本稿では、弧長に基づく地面度（ground metric）とラップド単峰性一様混合分布を用いて、離散的で周期的なクラスラベルをモデル化することで、ラベルスムージングのためのロバストなアプローチを提案する、ポーズ推定のための保守的 Wasserstein 学習フレームワークを提示する。線形、凸、凹の地面度において Wasserstein 距離の正確な閉形式解を導出することで、特に凸関数のマッピングと保守的ラベル設定において優れた性能を達成し、頭部、ボディ、車両、3D 物体ポーズのベンチマークで先行手法を上回る結果を得た。

ABSTRACT

This paper targets the task with discrete and periodic class labels ($e.g.,$ pose/orientation estimation) in the context of deep learning. The commonly used cross-entropy or regression loss is not well matched to this problem as they ignore the periodic nature of the labels and the class similarity, or assume labels are continuous value. We propose to incorporate inter-class correlations in a Wasserstein training framework by pre-defining ($i.e.,$ using arc length of a circle) or adaptively learning the ground metric. We extend the ground metric as a linear, convex or concave increasing function $w.r.t.$ arc length from an optimization perspective. We also propose to construct the conservative target labels which model the inlier and outlier noises using a wrapped unimodal-uniform mixture distribution. Unlike the one-hot setting, the conservative label makes the computation of Wasserstein distance more challenging. We systematically conclude the practical closed-form solution of Wasserstein distance for pose data with either one-hot or conservative target label. We evaluate our method on head, body, vehicle and 3D object pose benchmarks with exhaustive ablation studies. The Wasserstein loss obtaining superior performance over the current methods, especially using convex mapping function for ground metric, conservative label, and closed-form solution.

研究の動機と目的

• 離散的で周期的なポーズ推定タスクにおける交差エントロピー損失および回帰損失の限界を解消すること。
• 構造的地面度を用いて、ディープラーニングにおけるクラス間相関関係と周期性を統合すること。
• ラップド単峰性一様混合分布を用いて、ポーズラベルのインライアーやアウーターリアノイズをモデル化すること。
• 保守的ラベル設定下での Wasserstein 距離の効率的かつ正確な計算を可能にすること。
• 最小限のアーキテクチャ変更で、複数のポーズ推定ベンチマークで最先端の性能を達成すること。

提案手法

• 周期的ラベル空間におけるクラス類似度を符号的に表すために、弧長の増加関数として地面度を定義する。
• ラベルノイズと不確実性をモデル化するため、ラップド単峰性一様混合分布を用いて保守的ターゲットラベルを提案する。
• 地面度が弧長に関して線形、凸、または凹である場合に、ワンホットラベルおよび保守的ラベルの下で Wasserstein 距離の正確な閉形式解を導出する。
• 代替最適化を用いて、データから地面度を適応的に学習する。
• 予測確率の重み付き和として、Wasserstein 距離を効率的に計算するためのソフトアテンション機構を採用する。
• ResNetバックボーンと標準的なデータオーグメンテーションを用いた、標準的なディープラーニングパイプラインに損失関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 構造的地面度を備えた Wasserstein 基盤損失は、離散的で周期的なポーズ推定タスクの性能向上に寄与するか？
• RQ2 インライアーノイズとアウターリアノイズの両方をモデル化する保守的ラベルスムージングは、ポーズ推定におけるロバストネスをどのように向上させるか？
• RQ3 保守的ラベル設定下での Wasserstein 距離の正確な閉形式解の計算効率はどの程度か？
• RQ4 凸関数としての地面度関数は、線形または凹関数の代替案よりも優れた性能を示すか？
• RQ5 提案手法は、ポーズ推定を越えて、他の離散的で周期的な分類問題にも一般化可能か？

主な発見

• 提案手法は、先行研究の最良手法 [37] よりも PASCAL 3D+ データセットで $Acc_{\frac{\nu}{6}}$ に 3.37% の向上を達成した。
• PASCAL 3D+ における中央値誤差（$MedErr$）は 10.4 から 9.37 に低下し、相対的に 9.5% の改善が得られた。
• 凸関数としての地面度関数が、精度および誤差指標の両面で線形および凹関数の代替案を上回る最良の性能を示した。
• 保守的ラベル設定下での正確な閉形式解は $\mathcal{O}(N)$ の計算量を達成し、$\mathcal{O}(N^3)$ のベースラインと比べて著しく高速であった。
• PASCAL 3D+ における $Acc_{\frac{\pi}{18}}$ の向上により、真値の周囲に予測分布がより tightly フォーカスされていることが示された。
• 本手法は、頭部、ボディ、車両、3D 物体ポーズ推定を含む多様なベンチマークにおいて、良好な一般化性能を示した。