[논문 리뷰] Deep Deformation Network for Object Landmark Localization

Xiang Yu, Feng Zhou외 1명|arXiv (Cornell University)|2016. 05. 03.

Face recognition and analysis인용 수 9

한 줄 요약

이 논문은 비정형 물체의 랜드마크 정렬을 위한 두 단계형 연쇄 CNN 아키텍처인 딥 변형 네트워크(DDN)를 제안한다. 이는 형태 기반 네트워크(SBN)를 통해 전역 초기화를 수행하고, 점 변환 네트워크(PTN)를 통해 국소적인 얇은 판 스퍼링(Thin-Plate Spline, TPS) 변형을 적용함으로써 기하학적 제약 조건을 통합한다. 이 방법은 수동으로 설계된 특징 또는 부분 연결성 가정 없이 엔드 투 엔드 학습을 통해 얼굴, 신체, 새의 랜드마크 정렬 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a novel cascaded framework, namely deep deformation network (DDN), for localizing landmarks in non-rigid objects. The hallmarks of DDN are its incorporation of geometric constraints within a convolutional neural network (CNN) framework, ease and efficiency of training, as well as generality of application. A novel shape basis network (SBN) forms the first stage of the cascade, whereby landmarks are initialized by combining the benefits of CNN features and a learned shape basis to reduce the complexity of the highly nonlinear pose manifold. In the second stage, a point transformer network (PTN) estimates local deformation parameterized as thin-plate spline transformation for a finer refinement. Our framework does not incorporate either handcrafted features or part connectivity, which enables an end-to-end shape prediction pipeline during both training and testing. In contrast to prior cascaded networks for landmark localization that learn a mapping from feature space to landmark locations, we demonstrate that the regularization induced through geometric priors in the DDN makes it easier to train, yet produces superior results. The efficacy and generality of the architecture is demonstrated through state-of-the-art performances on several benchmarks for multiple tasks such as facial landmark localization, human body pose estimation and bird part localization.

연구 동기 및 목표

• 다양한 물체 클래스에서 비정형 형태 변형, 외관 변화, 가림 현상 등이 발생하는 랜드마크 정렬 과제를 해결한다.
• 이전의 연쇄형 CNN 모델이 복잡한 초기화, 다수의 하위 네트워크 또는 수동으로 설계된 특징에 의존하는 한계를 극복한다.
• 기하학적 사전 지식을 직접 CNN 아키텍처에 통합함으로써 일반화 능력이 뛰어난 프레임워크를 제안한다.
• 부분 연결성 모델이나 사전 정의된 그래픽 구조가 필요 없이 엔드 투 엔드 학습 및 추론을 가능하게 한다.
• 얼굴 랜드마크, 인간 신체 자세, 새의 부분 정렬 등 다양한 벤치마크에서 뛰어난 성능을 입증한다.

제안 방법

• 두 단계형 연쇄 아키텍처를 제안한다: 첫 번째로, CNN 특징를 저랭크 형태 다양체로 투영하여 전역 랜드마크 초기화를 생성하는 형태 기반 네트워크(SBN)를 사용한다.
• 학습된 형태 기반을 통해 자세 공간을 정규화함으로써 비정형 형태에 대한 복잡성 감소와 일반화 능력 향상을 달성한다.
• 두 번째 단계에서 초기 랜드마크로부터 국소 변형을 예측하기 위해 점 변환 네트워크(PTN)를 사용하며, 이는 초기 랜드마크에서 얇은 판 스퍼링(TPS) 변환을 적용한다.
• SBN과 PTN을 통해 기하학적 사전 지식을 네트워크 내부에 직접 통합함으로써 외부 그래픽 모델이나 수동으로 설계된 부분 연결성에 의존하지 않는다.
• SBN과 PTN를 모두 역전파 가능하게 함으로써 엔드 투 엔드 학습을 가능하게 하여 형태 기반과 변형 매개변수를 함께 최적화할 수 있다.
• 입력으로 VGG 기반 CNN 특징를 사용하며, 중간 단계의 밀도 있는 지도 학습 없이 직접 희박한 랜드마크 좌표로 회귀한다.

실험 결과

연구 질문

• RQ1 기하학적 제약 조건을 CNN 아키텍처 내부에 효과적으로 통합하여 수동으로 설계된 특징 없이도 랜드마크 정렬 성능을 향상시킬 수 있는가?
• RQ2 저랭크 형태 기반을 사전 지식으로 도입함으로써 비정형 랜드마크 정렬의 초기화 및 일반화 능력이 향상되는가?
• RQ3 국소적인 비정형 변형을 TPS 변환으로 모델링하는 것이 CNN 특징에서 직접 회귀하는 것보다 정확도와 내구성 면에서 뛰어나게 되는가?
• RQ4 제안된 프레임워크는 얼굴, 인간, 새와 같이 외관과 형태 변화가 큰 다양한 물체 유형에 대해 일반화 가능한가?
• RQ5 기하학적 인덕티브 바이어스를 내장한 엔드 투 엔드 학습 가능한 아키텍처가 복잡한 초기화 또는 다수의 하위 네트워크를 요구하는 이전의 연쇄형 방법보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• DDN은 300W 얼굴 랜드마크 데이터셋에서 최신 기술 수준의 성능을 기록하였으며, PCK@0.10 점수는 94.0%로, 이전 방법 [60]이 보고한 93.8%를 초월한다.
• 인간 신체 자세 추정을 위한 LSP 데이터셋에서 DDN은 PCK@0.10 점수 88.3%를 기록하여 이 벤치마크에서 이전 최고 기록을 초월한다.
• 새의 부분 정렬을 위한 CUB200-2011 데이터셋에서 DDN은 PCK@0.10 점수 93.3%를 기록하였으며, 동일 기준에서 기준선 [60]이 보고한 93.4%를 초월한다.
• 메타 분석 결과, 도전적인 자세나 가림 상황에서도 정확한 랜드마크 정렬이 가능함을 보여주며, 정량적 결과에서도 뛰어난 내구성을 입증한다.
• 밀도 있는 마스크 예측을 하는 완전 컨볼루션 기반 방법 대비 희박한 랜드마크를 직접 회귀함으로써 계산 비용을 감소시켰다.
• 절단 분석 결과, SBN을 통한 기하학적 정규화와 TPS 변형이 직접 회귀나 그래픽 모델 기반 접근보다 빠른 수렴과 더 나은 일반화 능력을 보였다.