[논문 리뷰] A Convolution Tree with Deconvolution Branches: Exploiting Geometric Relationships for Single Shot Keypoint Detection

Amit Kumar, Rama Chellappa|arXiv (Cornell University)|2017. 04. 06.

Face recognition and analysis참고 문헌 26인용 수 3

한 줄 요약

이 논문은 기하학적 관계를 학습 가능한 변환 함수를 통해 모델링함으로써 얼굴 키포인트 검출을 향상시키기 위해 자세 조건부 라우팅 메커니즘을 갖춘 새로운 엔드 투 엔드, 싱글샷 컨볼루션-디컨볼루션 네트워크를 제안한다. 이 방법은 자세 기반 라우팅을 사용하여 가시 및 비가시 키포인트 간에 메시지를 선택적으로 전파하는 디컨볼루션 트리 구조를 사용하며, AFLW 및 AFW 데이터셋에서 각각 3.93 및 3.28의 정규화된 평균 오차(NME)로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, Deep Convolution Networks (DCNNs) have been applied to the task of face alignment and have shown potential for learning improved feature representations. Although deeper layers can capture abstract concepts like pose, it is difficult to capture the geometric relationships among the keypoints in DCNNs. In this paper, we propose a novel convolution-deconvolution network for facial keypoint detection. Our model predicts the 2D locations of the keypoints and their individual visibility along with 3D head pose, while exploiting the spatial relationships among different keypoints. Different from existing approaches of modeling these relationships, we propose learnable transform functions which captures the relationships between keypoints at feature level. However, due to extensive variations in pose, not all of these relationships act at once, and hence we propose, a pose-based routing function which implicitly models the active relationships. Both transform functions and the routing function are implemented through convolutions in a multi-task framework. Our approach presents a single-shot keypoint detection method, making it different from many existing cascade regression-based methods. We also show that learning these relationships significantly improve the accuracy of keypoint detections for in-the-wild face images from challenging datasets such as AFW and AFLW.

연구 동기 및 목표

• 극도로 다양한 자세 변화, 가림, 비가시 키포인트에 대한 누락된 애너테이션 등 제약이 없는, 실외 환경의 이미지에서 정확한 얼굴 키포인트 검출 문제를 해결하기 위해.
• 스코어 맵을 초월하여 특징 수준에서 공간적 종속성을 학습함으로써 얼굴 키포인트 간의 기하학적 관계를 모델링하기 위해.
• 예측된 3D 머리 자세에 기반해 라우팅을 조건화함으로써 일부 키포인트가 가려지거나 보이지 않을 경우에도 효과적인 메시지 전달을 가능하게 하기 위해.
• 카스케이드 리그레션을 피하고 Residual SqueezeNet를 통해 모델 파라미터를 줄임으로써 빠르고 반복 없이 완전히 컨볼루션 기반의 프레임워크를 개발하기 위해.
• 통합 다중 작업 학습 프레임워크를 통해 동시에 2D 키포인트 위치, 가시성 상태, 3D 머리 자세를 높은 정확도로 추정하기 위해.

제안 방법

• 이 방법은 깊은 컨볼루션 네트워크를 사용하며, 키포인트 간 특징 수준의 메시지를 전파하기 위해 트리 구조를 형성하는 디컨볼루션 브랜치를 포함한다.
• 자세 기반 라우팅 함수는 예측된 3D 머리 자세에 기반해 유의미한 메시지만 전달하도록 동적으로 관련된 디컨볼루션 브랜치를 활성화한다.
• 학습 가능한 변환 함수는 컨볼루션으로 구현되며, 특징 수준에서 키포인트 쌍 간의 공간적 관계를 모델링하여 기하학적 제약 조건을 포착한다.
• 네트워크는 엔드 투 엔드로 다중 작업 프레임워크에서 동시에 2D 키포인트 위치, 가시성 상태, 3D 머리 자세를 예측하도록 훈련된다.
• 성능 유지와 함께 모델 파라미터를 줄이기 위해 Residual SqueezeNet가 사용되며, 이는 효율적인 추론을 가능하게 한다.
• 프레임워크는 훈련 중에 비가시 키포인트를 배경으로 간주함으로써 가림을 암묵적으로 처리하지만, 여전히 메시지 전달을 통해 정확하게 위치를 예측한다.

실험 결과

연구 질문

• RQ1 깊은 네트워크에서 학습 가능한 컨볼루션 변환 함수를 사용하여 특징 수준에서 얼굴 키포인트 간 기하학적 관계를 효과적으로 모델링할 수 있는가?
• RQ2 제약이 없는 얼굴 이미지에서 가림과 자세 변화에 대해 메시지 전달이 어떻게 강건하게 유지될 수 있는가?
• RQ3 3D 감독 없이도 싱글샷, 엔드 투 엔드 딥 러닝 프레임워크가 카스케이드 리그레션 방법을 능가할 수 있는가?
• RQ4 고정되거나 조건부가 아닌 메시지 전달에 비해 자세 조건부 라우팅은 얼마나 키포인트 검출 정확도를 향상시키는가?
• RQ5 통합 네트워크가 동시에 높은 정확도로 2D 키포인트 위치, 가시성, 3D 머리 자세를 예측할 수 있는가?

주요 결과

• 제안된 방법은 AFLW 데이터셋에서 NME 3.93을 달성하여 CCL(재애너테이션 데이터를 사용)를 제외한 모든 이전 최신 기술 수준의 방법을 능가한다.
• AFW 데이터셋에서는 NME 3.28을 기록하며, 도전적인 부분 및 측면 얼굴에서도 강력한 성능을 보이며 랭킹 상위권에 진입한다.
• 누적 오차 분포 곡선은 AFLW에서 90% 이상의 얼굴이 얼굴 크기의 5% 이내의 오차를 가지며, 변동성에 대한 강건성을 보여준다.
• 정성적 결과는 디컨볼루션 트리를 통한 효과적인 메시지 전달 덕분에 프로파일 얼굴에서도 비가시 키포인트를 정확하게 예측함을 보여준다.
• AFW에서의 자세 추정 성능은 85% 이상의 얼굴이 진짜 머리 자세에서 ±15° 이내로 예측되었음을 보여주며, 3D 자세 추정 브랜치의 효과성을 확인한다.
• 절단 실험 결과는 자세 조건부 라우팅과 특징 수준의 메시지 전달 조합이 이러한 구성 요소가 없는 기준 모델에 비해 검출 정확도를 크게 향상시킨다는 것을 확인한다.