[논문 리뷰] Improving Multi-Person Pose Estimation using Label Correction

Naoki Kato, Tianqi Li외 2명|arXiv (Cornell University)|2018. 11. 08.

Human Pose and Action Recognition참고 문헌 25인용 수 11

한 줄 요약

이 논문은 다인용 자세 추정에서 완전하지 않거나 누락된 애너테이션(예: 이미지 경계를 초월하는 키포인트 또는 가림된 사지)을 교정하기 위해 교사 모델을 사용하는 라벨 보정 방법을 제안한다. 이 방법은 지도 레이블과 교사 모델의 소프트 예측을 요소별 최댓값 연산을 통해 조합함으로써 레이블을 보완한다. COCO 데이터셋에서의 실험 결과, 교정된 레이블을 사용한 훈련이 AP를 2.3점 향상시켜 최대 56.9에 도달하였고 수렴 속도가 빨라졌으며, 지식 정렬 기법보다도 우수한 성능을 보였다.

ABSTRACT

Significant attention is being paid to multi-person pose estimation methods recently, as there has been rapid progress in the field owing to convolutional neural networks. Especially, recent method which exploits part confidence maps and Part Affinity Fields (PAFs) has achieved accurate real-time prediction of multi-person keypoints. However, human annotated labels are sometimes inappropriate for learning models. For example, if there is a limb that extends outside an image, a keypoint for the limb may not have annotations because it exists outside of the image, and thus the labels for the limb can not be generated. If a model is trained with data including such missing labels, the output of the model for the location, even though it is correct, is penalized as a false positive, which is likely to cause negative effects on the performance of the model. In this paper, we point out the existence of some patterns of inappropriate labels, and propose a novel method for correcting such labels with a teacher model trained on such incomplete data. Experiments on the COCO dataset show that training with the corrected labels improves the performance of the model and also speeds up training.

연구 동기 및 목표

• 다인용 자세 추정 데이터셋에서 키포인트가 이미지 경계를 초월하거나 가려져 있을 경우 발생하는 완전하지 않거나 잘못된 레이블 패턴을 식별하고 이를 해결하는 것.
• 누락되거나 잘못된 레이블을 위한 타당하고 보완적인 예측을 생성하기 위해 교사 모델을 활용하는 새로운 라벨 보정 프레임워크를 제안하는 것.
• 노이즈가 많거나 불완전한 지도 신호를 교정된 보다 강건한 레이블로 대체함으로써 모델 성능과 훈련 효율성을 향상시키는 것.

제안 방법

• 초기 단계에서 원본 데이터셋(완전하지 않을 수 있음)을 기반으로 교사 모델을 훈련시켜 인간의 키포인트 구성 및 사지 관계에 대한 일반화 가능한 표현을 학습한다.
• 각 훈련 샘플에 대해, 키포인트가 경계를 초월하거나 가려져 있을 수 있는 상황에서 지도 레이블로부터 신뢰도 맵과 파트 유사성 필드(PAFs)를 계산한다.
• 제안된 방법은 원본(완전하지 않을 수 있는) 레이블과 교사 모델의 소프트 출력 간에 요소별 최댓값 연산을 수행하여 누락되거나 잘못된 영역을 효과적으로 보완한다.
• 교정된 레이블은 학생 모델을 훈련하는 데 사용되며, 이 과정에서 암묵적으로 지식 정렬 유사 정규화가 포함된다.
• 이 방법은 신뢰도 맵과 PAFs 양쪽에 동시에 적용되어 키포인트 및 사지 표현 학습 간 일관성을 확보한다.
• 제안된 방법은 아블레이션 실험과 지식 정렬 기법과의 비교를 통해 성능 및 수렴 속도 면에서 뛰어난 성능을 입증한다.

실험 결과

연구 질문

• RQ1 키포인트 애너테이션과 PAF 기반 지도 학습을 사용할 경우 다인용 자세 추정 데이터셋에서 흔히 발생하는 레이블 오류 유형은 무엇인가?
• RQ2 훈련된 모델이 자세 추정에서 누락되거나 잘못된 레이블에 대해 타당하고 보완적인 예측을 효과적으로 생성할 수 있는가?
• RQ3 교사 모델의 소프트 출력을 활용해 레이블을 보정하는 것이 기존 지식 정렬 기법보다 더 나은 모델 성능을 이끌어낼 수 있는가?
• RQ4 레이블 보정은 훈련 수렴 속도와 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ5 레이블 보정 성능 향상 효과는 동시에 신뢰도 맵과 PAFs를 보정할 경우에만 발생하는가?

주요 결과

• 교정된 레이블을 사용한 훈련으로 COCO에서 평균 평균 정밀도(AP)가 베이스라인 54.6에서 56.9로 2.3점 향상되었다.
• 지식 정렬 기법보다도 성능이 뛰어났으며, 두 기법을 함께 사용했을 때도 여전히 더 높은 성능를 기록했다.
• 레이블 보정은 수렴 속도를 높였으며, 손실 감소가 빠른 경향을 보여 지식 정렬 효과와 유사했다.
• 신뢰도 맵과 PAFs를 동시에 보정했을 때 가장 우수한 성능를 기록했으며, 이는 AP가 56.9로 상승한 반면, 한 종류만 보정했을 경우 55.5에 머물렀다.
• 아블레이션 실험을 통해 신뢰도 맵과 PAF 보정이 성능 향상에 독립적으로 기여하며 상호보완적인 효과도 있음을 확인했다.
• 실패 사례는 주로 비인간 객체에 대해 교사 모델의 잘못된 예측이나, 애너테이션과 예측 출력 간의 정렬 오류에서 기인했다.