[논문 리뷰] Unsupervised Learning of Landmarks based on Inter-Intra Subject Consistencies

Weijian Li, Haofu Liao외 3명|arXiv (Cornell University)|2020. 04. 16.

Face recognition and analysis참고 문헌 34인용 수 4

한 줄 요약

이 논문은 주어진 이미지의 랜드마크 히트맵을 다른 주제의 보조 이미지에서 추출한 랜드마크 히트맵을 기반으로 주제 간 및 주제 내 일관성을 강제하는 주제 매핑 모듈과 사이클 일관성 있는 이미지 변환을 사용하여 비지도적 얼굴 랜드마크 검출 방법을 제안한다. 보조 이미지를 활용해 구조적 변환을 유도하고 주제 간 및 주제 내 랜드마크 일관성을 강제함으로써, MAFL 및 AFLW 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 랜드마크 정렬의 정확성과 안정성이 뛰어나다.

ABSTRACT

We present a novel unsupervised learning approach to image landmark discovery by incorporating the inter-subject landmark consistencies on facial images. This is achieved via an inter-subject mapping module that transforms original subject landmarks based on an auxiliary subject-related structure. To recover from the transformed images back to the original subject, the landmark detector is forced to learn spatial locations that contain the consistent semantic meanings both for the paired intra-subject images and between the paired inter-subject images. Our proposed method is extensively evaluated on two public facial image datasets (MAFL, AFLW) with various settings. Experimental results indicate that our method can extract the consistent landmarks for both datasets and achieve better performances compared to the previous state-of-the-art methods quantitatively and qualitatively.

연구 동기 및 목표

• 완전 지도 학습 기반 얼굴 랜드마크 검출의 높은 주석 비용과 주관성을 해결하기 위해.
• 다른 주제 간 의미 일관성을 강제하여 비지도적 랜드마크 발견을 향상시키기 위해.
• 사이클 일관성 있는 이미지 변환 프레임워크를 통해 주제 내 랜드마크 일관성을 향상시키기 위해.
• 높은 정확도를 유지하면서 인간 주석 기반 랜드마크에 대한 의존도를 줄이기 위해.
• 다양한 얼굴 외형과 자세에 잘 일반화되는 자기지도 학습 방법을 개발하기 위해.

제안 방법

• 이 방법은 다른 주제의 보조 이미지에서 추출한 랜드마크 히트맵을 기반으로 입력 이미지를 변환하는 주제 매핑 모듈을 사용한다.
• 두 경로의 사이클 일관성 설계를 적용한다: 입력에서 변환된 이미지로의 정방향 변환과 원래 이미지를 복원하는 역방향 변환으로, 주제 내 일관성을 강제한다.
• 랜드마크 히트맵은 특징 맵을 기반으로 가우시안 유사 함수를 사용하여 생성되며, 이미지 변환의 구조적 가이던스로 기능한다.
• 모델은 재구성 손실과 VGG-16을 사용한 인지 손실의 조합으로 훈련되어 의미적이고 구조적인 세부 정보를 유지한다.
• 네트워크는 엔드 투 엔드로 훈련 가능하며, 랜드마크 검출기는 주제 간에 일관되고 의미 있는 키포인트를 함께 최적화하여 예측한다.
• 이 방법은 이미지 재구성을 자기지도 신호로 활용하며, 주제 간 및 주제 내 변환 사이클을 통해 구조적 일관성을 강제한다.

실험 결과

연구 질문

• RQ1 인간 주석 레이블 없이도 비지도적 얼굴 랜드마크 검출에서 주제 간 랜드마크 일관성을 효과적으로 강제할 수 있는가?
• RQ2 사이클 일관성 있는 변환 경로를 통합할 경우 주제 내 랜드마크 정렬 안정성이 어떻게 향상되는가?
• RQ3 다른 주제의 보조 이미지를 사용할 경우 검출된 랜드마크의 의미 일관성은 어느 정도 향상되는가?
• RQ4 인지 손실과 재구성 손실을 함께 사용할 경우 재구성 손실만 사용할 경우보다 더 나은 랜드마크 정렬 성능을 달성하는가?
• RQ5 저자료 환경에서 모델의 성능는 어떠한가? 다양한 얼굴 데이터셋 간에 일반화되는가?

주요 결과

• 제안된 방법은 MAFL에서 K=10 랜드마크일 때 평균 오차 3.08, AFLW에서는 6.20을 기록하여 이전 최신 기술 수준(SOTA) 방법을 초월한다.
• AFLW에서 K=50일 때 특히 Jakab 등 [11]과 Sanchez 등 [12]보다 우수한 성능을 보이며, 더 높은 랜드마크 수에 대한 강건성을 입증한다.
• 낮은 데이터 환경에서도 강력한 일반화 성능을 보이며, 단지 100장의 훈련 이미지로도 거의 포화 상태 성능을 달성하고, 런에 걸쳐 낮은 표준편차를 유지한다.
• 정성적 결과에서는 예측된 랜드마크가 기준 모델 대비 더 안정적이고 의미적으로 더 명확한 위치(예: 눈 모서리, 코)를 반영함을 확인할 수 있다. 반면 기준 모델은 흔히 머리카락이나 목에 랜드마크를 예측한다.
• 절단 실험 결과, 인지 손실과 재구성 손실을 함께 사용할 경우 가장 우수한 성능을 기록하며, VGG-16이 VGG-19보다 특징 추출에 있어 더 뛰어나다는 것을 확인한다.
• 특히 이마 및 눈 부위에서 주제 간 랜드마크 위치의 드리프트가 감소함을 관찰했으나, 가림이나 자세 변화 상황에서는 여전히 소규모 변동이 존재한다.