[논문 리뷰] AID: Pushing the Performance Boundary of Human Pose Estimation with Information Dropping Augmentation

Junjie Huang, Zheng Zhu외 2명|arXiv (Cornell University)|2020. 08. 17.

Human Pose and Action Recognition참고 문헌 49인용 수 12

한 줄 요약

이 논문은 인간 자세 추정에서 과적합을 방지하고 구조적 제약 조건에 대한 학습을 장려하기 위해 훈련 중에 키포인트 외형 특징을 무작위로 억제하는 데이터 증강 기법인 정보 제거를 통한 증강(AID)을 제안한다. AID는 COCO에서 최대 1.5 AP, CrowdPose에서 1.5 AP 이상 향상시키며 최신 모델들을 일관되게 향상시키며, 초기 훈련 불안정성을 완화하는 맞춤형 훈련 스케줄과 조합될 경우 尤 향상된다.

ABSTRACT

Both appearance cue and constraint cue are vital for human pose estimation. However, there is a tendency in most existing works to overfitting the former and overlook the latter. In this paper, we propose Augmentation by Information Dropping (AID) to verify and tackle this dilemma. Alone with AID as a prerequisite for effectively exploiting its potential, we propose customized training schedules, which are designed by analyzing the pattern of loss and performance in training process from the perspective of information supplying. In experiments, as a model-agnostic approach, AID promotes various state-of-the-art methods in both bottom-up and top-down paradigms with different input sizes, frameworks, backbones, training and testing sets. On popular COCO human pose estimation test set, AID consistently boosts the performance of different configurations by around 0.6 AP in top-down paradigm and up to 1.5 AP in bottom-up paradigm. On more challenging CrowdPose dataset, the improvement is more than 1.5 AP. As AID successfully pushes the performance boundary of human pose estimation problem by considerable margin and sets a new state-of-the-art, we hope AID to be a regular configuration for training human pose estimators. The source code will be publicly available for further research.

연구 동기 및 목표

• 딥 러닝 모델이 인간 자세 추정에서 외형 특징에 과적합하는 경향을 진단하고 이를 해결하기 위해.
• 기존의 정보 제거 방법이 표준 훈련 스케줄과 함께 사용될 때 성능 향상에 실패하는 이유를 조사하기 위해.
• 정보 제거 증강(AID)을 효과적으로 활용할 수 있도록 맞춤형 훈련 스케줄을 개발하기 위해.
• AID가 상위-다운 및 하위-업 파라다임에서 다양한 아키텍처, 백본, 입력 크기 및 데이터셋에 걸쳐 일반화 가능성과 효과성을 입증하기 위해.

제안 방법

• AID는 훈련 중에 키포인트 위치 주변의 외형 정보를 무작위로 국소적으로 억제하면서 반응 맵 감독을 유지한다.
• 이 방법은 정보를 제거하는 방식으로 모델이 구조적 및 상관 관계 제약 조건에 의존하도록 유도하는 데이터 증강 전략으로 적용된다.
• 손실 및 성능 동역학 분 析를 바탕으로 초기 훈련에서 외형 특징이 부족할 경우의 안정성을 향상시키기 위해 맞춤형 훈련 스케줄을 설계한다.
• 훈련 기간 연장 및 단계적 훈련(예비 훈련 시 AID 없이, 이후 AID로 미세조정)을 포함한 훈련 스케줄은 수렴성과 성능 향상에 기여한다.
• AID의 효과는 상위-다운 및 하위-업 자세 추정 프레임워크에서 최신 모델들(예: HRNet, HigherHRNet)을 대상으로 다수의 실험을 통해 평가된다.
• 자신감 있는 비교를 위해 Cutout, HaS, GridMask 등의 정보 제거 방법에 대한 초모수를 조정하여 유사한 초기 손실 수준을 유지한다.

실험 결과

연구 질문

• RQ1 표준 정보 제거 증강 기법은 정규화 잠재력이 있음에도 불구하고 인간 자세 추정에서 성능 향상에 실패하는 이유는 무엇인가?
• RQ2 최적화된 훈련 스케줄과 조합했을 때 정보 제거가 얼마나 높은 성능 향상에 기여하는가?
• RQ3 AID는 외상이나 모호한 키포인트 외형 조건에서 모델 일반화에 어떤 영향을 미치는가?
• RQ4 상위-다운과 하위-업 자세 추정 파라다임에서 각각 Cutout, HaS, GridMask 중 어떤 정보 제거 방법이 가장 높은 성능을 낼 수 있는가?
• RQ5 AID는 다양한 모델과 데이터셋에서 성능 향상을 위해 표준 훈련 설정으로 사용될 수 있는가?

주요 결과

• AID는 다양한 설정에서 COCO 테스트 세트에서 상위-다운 자세 추정 모델의 성능을 약 0.6 AP 향상시킨다.
• 하위-업 파라다임에서는 AID가 COCO 데이터셋에서 최대 1.5 AP 향상시킨다.
• 더 도전적인 CrowdPose 데이터셋에서는 AID가 여러 설정에서 1.5 AP 이상 향상시키며 성능 향상을 달성한다.
• AID의 성능 향상은 특히 훈련 기간 연장 또는 예비 훈련 없이 AID를 사용한 후 미세조정하는 단계적 훈련과 조합되었을 때 가장 효과적이다.
• 시험된 정보 제거 방법들 중 하위-업 파라다임에서는 HaS가 가장 우수한 성능을 보였고, 상위-다운 파라다임에서는 Cutout가 略 우수한 성능을 보였다.
• 정성적 결과는 AID로 훈련된 모델이 모호하거나 외상이 있는 상황에서도 더 정확하고 타당한 키포인트 예측을 생성함을 보여준다.