[논문 리뷰] Adversarial Learning of Structure-Aware Fully Convolutional Networks for Landmark Localization

Yu Chen, Chunhua Shen외 4명|arXiv (Cornell University)|2017. 11. 01.

Face recognition and analysis참고 문헌 96인용 수 13

한 줄 요약

이 논문은 조건부 GAN을 사용하여 가려진 또는 도전적인 단안 영상에서의 지표점 국소화를 향상시키기 위해 구조 인식형 완전 컨volution 네트워크를 제안한다. 판별자(다른 생물학적으로 비현실적인 구성 요소를 탐지하도록 전문화된)가 가짜로 생성된 자세를 탐지하도록 하여 생성자(Generator)가 현실적인 자세를 생성하도록 훈련시킴으로써, 이 방법은 인간의 신체 구조에 대한 사전 지식을 암묵적으로 학습하게 되어, 2D 얼굴 지표점, 2D 인간 자세, 3D 인간 자세 추정 벤치마크에서 최신 기술을 크게 능가한다.

ABSTRACT

Landmark/pose estimation in single monocular images have received much effort in computer vision due to its important applications. It remains a challenging task when input images severe occlusions caused by, e.g., adverse camera views. Under such circumstances, biologically implausible pose predictions may be produced. In contrast, human vision is able to predict poses by exploiting geometric constraints of landmark point inter-connectivity. To address the problem, by incorporating priors about the structure of pose components, we propose a novel structure-aware fully convolutional network to implicitly take such priors into account during training of the deep network. Explicit learning of such constraints is typically challenging. Instead, inspired by how human identifies implausible poses, we design discriminators to distinguish the real poses from the fake ones (such as biologically implausible ones). If the pose generator G generates results that the discriminator fails to distinguish from real ones, the network successfully learns the priors. Training of the network follows the strategy of conditional Generative Adversarial Networks (GANs). The effectiveness of the proposed network is evaluated on three pose-related tasks: 2D single human pose estimation, 2D facial landmark estimation and 3D single human pose estimation. The proposed approach significantly outperforms the state-of-the-art methods and almost always generates plausible pose predictions, demonstrating the usefulness of implicit learning of structures using GANs.

연구 동기 및 목표

• 심한 가림이나 혼잡한 배경 조건에서 단안 영상에서의 지표점 국소화 정확도 저하 문제를 해결하기 위해.
• 관절 연결성의 명시적 모델링 없이도 딥 컨volution 네트워크에 인간 신체 구조의 기하학적 사전 지식을 통합하기 위해.
• 적대적 훈련을 통해 타당한 자세 구성 요소를 학습시켜 자세 추정의 강인성을 향상시키기 위해.
• 핵심 지표점 특징이 모호하거나 손실되었을 경우에도 생물학적으로 타당한 자세를 생성할 수 있도록 하기 위해.
• 여러 가지 지표점 국소화 작업(얼굴, 2D 인간, 3D 인간)에 걸쳐 암묵적 구조 학습이 어떻게 효과적으로 작용하는지 입증하기 위해.

제안 방법

• 입력 영상에서 지표점 위치의 히트맵을 회귀하는 완전 컨volution 생성자 네트워크(G)를 사용한다.
• 실제로 가능한 자세와 가짜로 생성된 비현실적인 자세를 구분하도록 훈련된 자세 판별자(P)를 사용한다.
• 판별자를 속이도록 생성자를 최적화함으로써, 인간 신체 구조 제약 조건을 암묵적으로 학습한다.
• 입력 영상에 조건부로 히트맵을 생성하는 조건부 GAN 훈련을 사용한다.
• 판별자는 실제 진짜 히트맵과 생성자 G에 의해 생성된 가짜 히트맵을 모두 학습한다.
• 추론 시에는 오직 생성자 네트워크만 사용하며, 판별자는 폐기된다.

실험 결과

연구 질문

• RQ1 구조 인식형 판별자를 사용한 적대적 훈련이 가려짐 조건에서 지표점 국소화의 강인성을 향상시키는가?
• RQ2 GAN 기반 프레임워크는 인간 관절의 기하학적 제약 조건을 얼마나 효과적으로 암묵적으로 학습하는가?
• RQ3 극한의 가림 조건에서 기존의 DCNN 기반 기준 모델에 비해 제안된 방법이 더 타당한 자세를 생성하는가?
• RQ4 이 방법은 얼굴, 2D 인간, 3D 인간 지표점 국소화 작업 간에 얼마나 잘 일반화되는가?
• RQ5 판별자가 비현실적인 자세를 거부할 수 있는 능력이 생성자에게 더 현실적인 예측 방향을 이끌 수 있는가?

주요 결과

• 제안된 방법은 2D 얼굴 지표점 검출, 2D 인간 자세 추정, 2D에서 3D 자세로의 변환 벤치마크에서 최신 기술 성능을 달성한다.
• 300-W 데이터셋에서, 특히 도전적인 가림 조건에서 평균 오차 측면에서 이전 최신 기술 방법들을 능가한다.
• 정성적 결과에서는 핵심 지표점 특징이 모호하거나 손실되었을 경우에도 네트워크가 일관되게 타당한 자세 구성 요소를 생성하는 것으로 나타났다.
• 제거 실험 결과, 기준 모델에 비해 판별자가 일반화 능력 향상과 비현실적인 예측 감소에 크게 기여하는 것으로 확인되었다.
• 네트워크는 현실적인 인간 신체 형태의 다양체(manifold) 내부에 위치하는 자세를 생성하도록 학습하여 효과적인 구조 인코딩이 이루어졌음을 시사한다.
• 추론 시 오버헤드가 극히 적으며, 훈련 후에는 오직 생성자만 사용되기 때문이다.