[논문 리뷰] Mirror, mirror on the wall, tell me, is the error small?

Heng Yang, Ioannis Patras|arXiv (Cornell University)|2015. 01. 21.

Face recognition and analysis참고 문헌 24인용 수 17

한 줄 요약

이 논문은 거울 대칭성(mirrorability)을 도입하며, 이는 모델이 거울 뒤집힌 이미지에서 대칭적인 결과를 생성할 수 있는 능력을 의미한다. 또한 지도 없이 객체 부분 위치 추정 방법을 평가하기 위한 정량적 측도인 거울 오차(mirror error)를 제안한다. 인간 자세 추정 및 얼굴 정렬 분야의 최신 기술 모델들이라도 거울 뒤집힌 데이터로 훈련을 거친 후에도 상당한 거울 오차를 보이며, 이는 지도 데이터 기반의 위치 오차와 강하게 상관관계가 있다. 이는 캐스케이드 회귀에서 어려운 샘플 선택 및 피드백 기반 응용에 활용 가능하다.

ABSTRACT

Do object part localization methods produce bilaterally symmetric results on mirror images? Surprisingly not, even though state of the art methods augment the training set with mirrored images. In this paper we take a closer look into this issue. We first introduce the concept of mirrorability as the ability of a model to produce symmetric results in mirrored images and introduce a corresponding measure, namely the extit{mirror error} that is defined as the difference between the detection result on an image and the mirror of the detection result on its mirror image. We evaluate the mirrorability of several state of the art algorithms in two of the most intensively studied problems, namely human pose estimation and face alignment. Our experiments lead to several interesting findings: 1) Surprisingly, most of state of the art methods struggle to preserve the mirror symmetry, despite the fact that they do have very similar overall performance on the original and mirror images; 2) the low mirrorability is not caused by training or testing sample bias - all algorithms are trained on both the original images and their mirrored versions; 3) the mirror error is strongly correlated to the localization/alignment error (with correlation coefficients around 0.7). Since the mirror error is calculated without knowledge of the ground truth, we show two interesting applications - in the first it is used to guide the selection of difficult samples and in the second to give feedback in a popular Cascaded Pose Regression method for face alignment.

연구 동기 및 목표

• 최신 기술의 객체 부분 위치 추정 모델들이 거울 뒤집힌 이미지에서 대칭적인 결과를 내는지, 훈련 시 거울 뒤집힌 데이터를 사용함에도 불구하고 조사하기.
• 지도 없이도 사용 가능한 새로운 평가 지표인 거울 오차를 제안하여 모델의 거울 대칭성(mirrorability)을 정량화하기.
• 거울 오차와 기존의 위치 오차 간의 상관관계를 분석하여, 거울 오차가 성능의 대체 지표로 유용한지 평가하기.
• 얼굴 정렬에서 캐스케이드 회귀 모델의 성능 향상을 위해 거울 오차를 활용한 어려운 샘플 선택 및 피드백 메커니즘을 실증하기.
• 생물학적 원리와 데이터 증강의 영향에도 불구하고 현대의 위치 추정 모델들이 거울 대칭성을 잘 유지하지 못하고 있음을 인식시키기.

제안 방법

• 모델이 원본 이미지와 그 거울 뒤집힌 이미지에서 대칭적인 검출 결과를 내는 능력을 거울 대칭성(mirrorability)으로 정의한다.
• 원본 이미지의 검출 결과와 거울 뒤집힌 이미지의 검출 결과 간의 L2 거리를 거울 오차(mirror error)로 제안한다.
• 다양한 데이터셋에서 인간 자세 추정 및 얼굴 정렬 분야의 최신 기술 모델들을 대상으로 거울 오차 지표를 적용하여 평가한다.
• 지도 없이도 어려운 샘플을 선택하기 위해, 거울 오차가 높은 샘플을 선별하여 주도 학습에서 활용한다.
• 캐스케이드 회귀 프레임워크(RCPR)에 거울 오차를 통합하여, 다수의 초기화로부터 온 피드백을 통해 재초기화 및 실패 탐지 기능을 유도한다.
• 300W 및 기타 벤치마크에서 아블레이션 실험과 최신 기술 방법과의 비교를 통해 거울 오차 기반 피드백의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 최신 기술의 객체 부분 위치 추정 모델들이 거울 뒤집힌 이미지에서 대칭적인 결과를 내는가, 훈련 시 거울 뒤집힌 데이터를 사용함에도 불구하고?
• RQ2 다양한 모델과 데이터셋에서 거울 오차와 표준 위치 오차(예: 평균 정렬 오차) 간의 상관관계는 어떠한가?
• RQ3 지도 없이도 거울 오차를 지도 오차의 대체 지표로 효과적으로 사용할 수 있는가?
• RQ4 지도 없이도 거울 오차를 활용해 주도 학습 환경에서 어려운 샘플을 효과적으로 선별할 수 있는가?
• RQ5 거울 오차를 피드백 및 재초기화 메커니즘에 활용하여 캐스케이드 회귀 모델의 성능 향상을 이끌 수 있는가?

주요 결과

• 인간 자세 추정 및 얼굴 정렬 분야의 대부분 최신 기술 모델들이 거울 뒤집힌 이미지에서 상당한 거울 오차를 보이며, 훈련 시 거울 뒤집힌 데이터를 사용함에도 불구하고 거울 대칭성이 떨어짐을 시사한다.
• 거울 오차는 지도 기반 위치 오차와 강하게 상관관계가 있다(상관계수 약 0.7), 이는 거울 오차가 성능의 대체 지표로 사용될 수 있음을 검증한다.
• 높은 거울 오차를 기준으로 선별한 샘플들은 다양한 모델 간 일관성이 높으며, 지도 오차 기반으로 어려운 샘플로 분류된 것과 잘 일치한다.
• RCPR에 거울 오차 피드백을 통합함으로써 성능 향상이 이루어졌으며, 49개 랜드마크 기준 300W 테스트 세트에서 5.35의 정규화 오차를 기록하여 최신 기술 성능을 달성하였다.
• 10개의 초기화와 최대 4회의 재시작을 허용하는 RCPR-F2 버전이 최고의 성능을 보였으며, 이는 거울 오차가 실패 탐지 및 재초기화에 효과적임을 입증한다.
• 지도 없이도 신뢰할 수 있는 거울 오차 지표는 모델의 대칭성 유지 능력에 대한 약점을 드러내며, 위치 추정의 강건성 평가에 새로운 차원을 제공한다.