[논문 리뷰] Learnt quasi-transitive similarity for retrieval from large collections of faces

Ognjen Arandjelović|arXiv (Cornell University)|2016. 03. 02.

Advanced Image and Video Retrieval Techniques참고 문헌 37인용 수 4

한 줄 요약

이 논문은 대규모 비라벨링, 비제약 조건 데이터셋에서 얼굴 세트 검색 성능을 향상시키기 위해 프록시 세트에서 준순차적 유사도를 학습하는 메타알고리즘을 제안한다. 수동 레이블링 없이도 검색이 어려운 개체에 대해 성능을 크게 향상시키며, 인물 간 외형 유사도의 통계적 순차성 특성을 활용하여, 부분 기반 기준선을 사용할 경우 유튜브 데이터셋에서 72.8%의 검색 정확도를 달성한다.

ABSTRACT

We are interested in identity-based retrieval of face sets from large unlabelled collections acquired in uncontrolled environments. Given a baseline algorithm for measuring the similarity of two face sets, the meta-algorithm introduced in this paper seeks to leverage the structure of the data corpus to make the best use of the available baseline. In particular, we show how partial transitivity of inter-personal similarity can be exploited to improve the retrieval of particularly challenging sets which poorly match the query under the baseline measure. We: (i) describe the use of proxy sets as a means of computing the similarity between two sets, (ii) introduce transitivity meta-features based on the similarity of salient modes of appearance variation between sets, (iii) show how quasi-transitivity can be learnt from such features without any labelling or manual intervention, and (iv) demonstrate the effectiveness of the proposed methodology through experiments on the notoriously challenging YouTube database and two successful baselines from the literature.

연구 동기 및 목표

• 기본 유사도 측정 방식이 어려운 케이스에서 작동하지 않는 대규모 비라벨링, 비제약 조건 데이터셋에서 신원 기반 얼굴 세트 검색 성능을 향상시키는 것.
• 수동 애너테이션이나 자세/일조 조건의 명시적 모델링 없이도 개인 간 외형 유사도의 부분적 순차성을 활용하여 검색 성능을 향상시키는 것.
• 데이터 코퍼스의 전반적 구조를 기반으로 기본 유사도 측정 방식을 개선하기 위해 자기지도 학습 기반 메타알고리즘을 개발하는 것.
• 기본 방법이 낮은 품질이나 희귀한 신원에서 어려움을 겪는 도전적인 유튜브 얼굴 데이터베이스에서의 효과성을 입증하는 것.

제안 방법

• 이 방법은 갤러리에서 유사한 얼굴 세트를 대표하는 프록시 세트를 사용하여, 쿼리 세트와 갤러리 세트 간의 두드러진 외형 변동 모드를 기반으로 순차성 메타특징을 계산한다.
• 준순차성(Quasi-transitivity)을 모델링하는 유사도 측정 방식을 제안한다: 만약 세트 A가 세트 B와 유사하고 세트 B가 세트 C와 유사하면, A와 C도 직접 비교하지 않더라도 더 유사할 가능성이 높다.
• 지식 기반 레이블이나 고수준 의미 모델링이 필요 없는 자기지도 학습 프레임워크를 통해 데이터에서 직접 메타특징을 학습한다.
• 이 방법은 어떤 기본 유사도 측정 방식 위에 후처리 메타알고리즘으로 적용되어 어려운 쿼리에서의 성능을 향상시킨다.
• 성능 평가에는 ANR(Average Normalized Recall)와 상위 100개 검색 정확도를 사용하며, 최적의 성능을 위해 프록시 세트 수($k_p$)를 튜닝한다.
• 이 방법은 강건하다: 98% 이상의 검색 결과가 ANR < 0.5를 기록하며, 특히 $k$가 큰 경우 기준선보다 뚜렷이 뛰어난 성능을 보인다.

실험 결과

연구 질문

• RQ1 대규모 얼굴 컬렉션에서 개인 간 유사도 패턴을 활용하여 직접 매칭이 어려운 얼굴 세트의 검색 성능을 향상시킬 수 있는가?
• RQ2 감독 없이도 외형 유사도의 통계적(준)순차성 특성을 데이터로부터 학습할 수 있는가?
• RQ3 프록시 세트의 사용이 기본 유사도 측정 방식이 실패하는 어려운 쿼리에서 검색 성능을 어떻게 향상시키는가?
• RQ4 제안된 메타알고리즘이 예시 기반 및 부분공간 기반 방법과 같은 다양한 기본 유사도 측정 방식에 일반화되는가?

주요 결과

• 제안된 방법은 유튜브 데이터베이스에서 72.8%의 검색 정확도를 달성하여 기준선 방법보다 어려운 쿼리에서 뚜렷한 성능 향상을 보였다.
• 제안된 방법을 사용한 검색 결과 중 98% 이상이 ANR 0.5 이하를 기록했으며, 예시 기반 및 부분공간 기반 기준선의 98번째 백분위수 ANR 값은 각각 0.92와 0.88였다.
• 정확한 매칭 수가 증가함에 따라 상위 100개 검색 재현율이 독립성 가정에 의해 예측된 것보다 더 빠르게 증가하는 것으로 나타나, 준순차성을 통한 유사도 정보의 효과적 전파가 이루어졌음을 시사한다.
• 부분공간 기반 기준선에서 단일 프록시 세트($k_p = 1$)를 사용할 경우 성능 향상이 가장 두드러졌으며, 이는 방법이 낮은 랭크 표현 내부의 본질적 구조를 효과적으로 포착했음을 시사한다.
• 상위 100개 세트 내에서 정확한 매칭 수의 평균을 향상시켰으며, 결과적으로 독립 매칭 가정에 기반한 예측을 항상 초월하는 성능을 기록했다.