[논문 리뷰] Conservative Wasserstein Training for Pose Estimation

Xiaofeng Liu, Yang Zou외 5명|arXiv (Cornell University)|2019. 11. 03.

Human Pose and Action Recognition참고 문헌 59인용 수 16

한 줄 요약

이 논문은 원주율 및 랩드 단일모드-균일 혼합 분포를 사용하여 이산적이고 주기적인 클래스 레이블을 모델링하는 보수적인 워셔스타인 훈련 프레임워크를 제안한다. 선형, 볼록, 오목인 기저 거리에 대해 워셔스타인 거리의 정확한 폐형 해를 유도함으로써, 특히 볼록 매핑과 보수적인 레이블 설정에서 뛰어난 성능을 달성하며, 머리, 몸통, 차량, 3D 객체 자세 추정 벤치마크에서 이전 방법들을 능가한다.

ABSTRACT

This paper targets the task with discrete and periodic class labels ($e.g.,$ pose/orientation estimation) in the context of deep learning. The commonly used cross-entropy or regression loss is not well matched to this problem as they ignore the periodic nature of the labels and the class similarity, or assume labels are continuous value. We propose to incorporate inter-class correlations in a Wasserstein training framework by pre-defining ($i.e.,$ using arc length of a circle) or adaptively learning the ground metric. We extend the ground metric as a linear, convex or concave increasing function $w.r.t.$ arc length from an optimization perspective. We also propose to construct the conservative target labels which model the inlier and outlier noises using a wrapped unimodal-uniform mixture distribution. Unlike the one-hot setting, the conservative label makes the computation of Wasserstein distance more challenging. We systematically conclude the practical closed-form solution of Wasserstein distance for pose data with either one-hot or conservative target label. We evaluate our method on head, body, vehicle and 3D object pose benchmarks with exhaustive ablation studies. The Wasserstein loss obtaining superior performance over the current methods, especially using convex mapping function for ground metric, conservative label, and closed-form solution.

연구 동기 및 목표

• 이산적이고 주기적인 자세 추정 작업에서 교차 엔트로피 손실과 회귀 손실의 한계를 해결하기 위해.
• 구조적인 기저 거리로 클래스 간 상관관계와 주기성을 딥 러닝에 통합하기 위해.
• 랩드 단일모드-균일 혼합 분포를 사용해 자세 레이블의 이너라이어 및 아웃라이어 노이즈를 모델링하기 위해.
• 보수적인 레이블 설정 하에서 워셔스타인 거리의 효율적이고 정확한 계산을 가능하게 하기 위해.
• 최소한의 아키텍처 변경으로 다수의 자세 추정 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 주기적 레이블 공간에서 클래스 유사도를 표현하기 위해 기저 거리를 호 길이의 증가 함수로 정의한다.
• 레이블 노이즈와 불확실성을 모델링하기 위해 랩드 단일모드-균일 혼합 분포를 통한 보수적인 타깃 레이블을 제안한다.
• 기저 거리가 호 길이에 대해 선형, 볼록 또는 오목일 경우, 워셔스타인 거리의 정확한 폐형 해를 도출한다.
• 기저 거리를 데이터로부터 적응적으로 학습하기 위해 대체 최적화를 사용한다.
• 예측 확률의 가중치 합으로서 효율적으로 워셔스타인 거리를 계산하기 위해 소프트 어텐션 메커니즘을 활용한다.
• ResNet 백본과 표준 데이터 증강 기법을 사용하는 표준 딥 러닝 파이프라인 내에서 손실을 적용한다.

실험 결과

연구 질문

• RQ1 구조적인 기저 거리를 갖춘 워셔스타인 기반 손실이 이산적이고 주기적인 자세 추정 작업에서 성능 향상에 기여하는가?
• RQ2 이너라이어 및 아웃라이어 노이즈를 모두 모델링하는 보수적인 레이블 스무딩은 자세 추정에서 강건성을 어떻게 향상시키는가?
• RQ3 보수적인 레이블 설정 하에서 워셔스타인 거리의 정확한 폐형 해의 계산 효율성은 어떠한가?
• RQ4 볼록 기저 거리 함수를 사용할 경우 선형 또는 오목한 대안보다 더 뛰어난 성능을 내는가?
• RQ5 제안된 방법은 자세 추정을 초월하여 다른 이산적이고 주기적인 분류 문제에도 일반화 가능한가?

주요 결과

• 제안된 방법은 이전 최신 기술 수준의 방법 [37] 대비 PASCAL 3D+ 데이터셋에서 $Acc_{\frac{\nu}{6}}$ 에서 3.37% 향상된 성능을 달성하였다.
• PASCAL 3D+에서 중앙값 오차($MedErr$)는 10.4에서 9.37로 감소하여 상대적 개선률이 9.5%에 이르렀다.
• 볼록 기저 거리 함수가 정확도 및 오차 지표에서 선형 및 오목한 대안보다 가장 우수한 성능을 보였다.
• 보수적인 레이블에 대한 정확한 폐형 해는 $\mathcal{O}(N)$ 복잡도를 가지며, 기존의 $\mathcal{O}(N^3)$ 기준보다 훨씬 빠르게 계산된다.
• PASCAL 3D+에서 $Acc_{\frac{\pi}{18}}$ 가 향상되어 지표값이 진짜값 주변에 더 좁은 예측 분포를 가지게 되었다.
• 이 방법은 머리, 몸통, 차량, 3D 객체 자세 추정을 포함한 다양한 벤치마크에서 잘 일반화됨을 보였다.