[논문 리뷰] Self Adversarial Training for Human Pose Estimation

Chia-Jung Chou, Jui-Ting Chien외 1명|arXiv (Cornell University)|2017. 07. 08.

Human Pose and Action Recognition참고 문헌 12인용 수 39

한 줄 요약

이 논문은 두 개의 동일한 스택드 아워글라스 네트워크를 사용하여 인간 자세 추정을 위한 자기적대적 훈련 프레임워크를 제안한다: 하나는 열쇠점 히트맵을 예측하는 생성기로, 다른 하나는 타당한 체형과 비타당한 체형을 구분하는 판별기로 기능한다. 적대적 손실은 구조적 일致성을 강제하여 예측 정확도를 향상시키며, LSP, MPII, LIP 벤치마크에서 기준 스택드 아워글라스 네트워크 대비 최대 1.8% 향상된 PCKh 성능을 달성하여 최신 기술 수준에 도달한다.

ABSTRACT

This paper presents a deep learning based approach to the problem of human pose estimation. We employ generative adversarial networks as our learning paradigm in which we set up two stacked hourglass networks with the same architecture, one as the generator and the other as the discriminator. The generator is used as a human pose estimator after the training is done. The discriminator distinguishes ground-truth heatmaps from generated ones, and back-propagates the adversarial loss to the generator. This process enables the generator to learn plausible human body configurations and is shown to be useful for improving the prediction accuracy.

연구 동기 및 목표

• 단일 이미지 자세 추정에서 특히 가림이나 혼잡한 환경에서 비타당한 인간 체형을 예측하는 문제를 해결하기 위해.
• 적대적 훈련을 통해 구조적 사전 지식을 통합하여 열쇠점 히트맵 예측을 향상시키기 위해.
• 수작업된 사전 지식이나 후처리 그래픽 모델에 의존하지 않고 특징 표현 학습을 향상시키기 위해.
• 훈련 후 판별기를 제거하여 추론 효율성을 유지하기 위해.

제안 방법

• 두 개의 스택드 아워글라스 네트워크 아키텍처를 사용하며, 하나는 생성기로, 다른 하나는 동일한 아키텍처를 공유하는 판별기로 기능한다.
• 생성기는 다중 스케일, 바닥에서 위로 및 위에서 아래로의 추론 메커니즘을 사용하여 입력 이미지에서 인간 열쇠점 위치의 히트맵을 생성한다.
• 판별기는 생성된 히트맵의 구조적 타당성을 평가하기 위해 그들을 정답 히트맵과 구분한다.
• 적대적 훈련은 최소-최대 손실을 통해 수행되며, 생성기는 판별기를 속이도록 업데이트되어 예측 자세의 현실성과 정확도를 향상시킨다.
• 판별기의 역할을 비평가로만 사용하며 아키텍처 수정 없이 표준 GAN 훈련 동역학을 사용한다.
• 훈련 후 판별기는 제거되어 추론에는 오직 생성기만 남기며, 런타임 오버헤드가 없도록 보장한다.

실험 결과

연구 질문

• RQ1 공유 아키텍처의 판별기를 사용한 적대적 훈련이 단일 이미지 추정에서 예측된 인간 자세의 구조적 타당성을 향상시킬 수 있는가?
• RQ2 히트맵의 현실성에 대해 훈련된 판별기를 사용할 경우, 표준 스택드 아워글라스 네트워크 대비 더 나은 열쇠점 정렬 정확도를 달성할 수 있는가?
• RQ3 적대적 손실의 포함 여부가 다양한 네트워크 깊이에서 수렴 속도와 최종 성능에 어떤 영향을 미치는가?
• RQ4 판별기의 성능은 입력 이미지의 맥락에 의존하는가, 아니면 히트맵만으로도 자세의 타당성을 평가할 수 있는가?
• RQ5 정확도와 훈련 안정성 측면에서 네트워크 깊이와 적대적 정규화 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 제안된 방법은 LSP 데이터셋에서 최신 기술 수준의 성능을 달성하여 PCKh 98.2%를 기록하며 기준 스택드 아워글라스 네트워크를 초월한다.
• MPII 데이터셋에서 방법은 PCKh 91.8%를 달성하여 기준 스택드 아워글라스 네트워크 대비 1.8% 향상된 성능을 보였다.
• LIP 데이터셋에서 방법은 총 PCK 87.4%를 달성하여 이전 방법들인 Hybrid Pose Machine(77.2%)과 BUPTMM-POSE(80.2%)를 능가했다.
• 적대적 훈련은 특히 1스택 및 2스택 구성에서 수렴 속도를 향상시키고 최종 정확도를 향상시켰으며, 4스택 아워글라스에 판별기를 추가한 모델이 8스택 기준 모델보다 우수한 성능을 보였다.
• 판별기는 이미지 맥락 없이도 효과적으로 작동하여, 자세의 구조적 특성 자체만으로도 타당한가 비타당한가를 구분하는 데 충분한 단서를 제공함을 시사한다.
• 학습률 감소를 에포크 60에 적용함으로써 깊이 있는 아키텍처에서 특히 안정성과 성능 향상이 뚜렷하게 관찰되었다.