[논문 리뷰] Museum Exhibit Identification Challenge for Domain Adaptation and Beyond

Piotr Koniusz, Yusuf Tas외 4명|arXiv (Cornell University)|2018. 02. 04.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 도메인 적응, 엑오세트릭 레코ognition, 그리고 희소한 샘플 학습에 도전하는 박물관 전시물 식별을 위한 새로운 벤치마크 데이터셋인 Open MIC를 소개한다. 제어된 소스(휴대폰 촬영)와 실외 환경의 타겟(웨어러블 카메라 촬영) 설정을 통해 866개의 전시물 정체성을 포함하며, Hon 서브셋에서 린만 기반 거리 측정법과 Bregman 발산을 사용한 So-HoT 모델로 77.3%의 최신 기술 수준 성능을 기록했다.

ABSTRACT

In this paper, we approach an open problem of artwork identification and propose a new dataset dubbed Open Museum Identification Challenge (Open MIC). It contains photos of exhibits captured in 10 distinct exhibition spaces of several museums which showcase paintings, timepieces, sculptures, glassware, relics, science exhibits, natural history pieces, ceramics, pottery, tools and indigenous crafts. The goal of Open MIC is to stimulate research in domain adaptation, egocentric recognition and few-shot learning by providing a testbed complementary to the famous Office dataset which reaches 90% accuracy. To form our dataset, we captured a number of images per art piece with a mobile phone and wearable cameras to form the source and target data splits, respectively. To achieve robust baselines, we build on a recent approach that aligns per-class scatter matrices of the source and target CNN streams [15]. Moreover, we exploit the positive definite nature of such representations by using end-to-end Bregman divergences and the Riemannian metric. We present baselines such as training/evaluation per exhibition and training/evaluation on the combined set covering 866 exhibit identities. As each exhibition poses distinct challenges e.g., quality of lighting, motion blur, occlusions, clutter, viewpoint and scale variations, rotations, glares, transparency, non-planarity, clipping, we break down results w.r.t. these factors.

연구 동기 및 목표

• 문화유산 및 박물관 환경에서의 시각 인식 분야에서 현실적이고 실외 환경 기반의 도메인 적응 벤치마크가 부족한 문제를 해결하기 위해.
• 크고 다양한 도메인 이동과 시각적 과제를 포함한 데이터셋을 제공함으로써 도메인 적응, 엑오세트릭 인식, 희소한 샘플 학습 분야의 연구를 자극하기 위해.
• 약 90%의 정확도에서 성능 포화 상태에 도달한 Office 데이터셋에 대한 보완적 테스트베드를 제공하기 위해.
• 조명 변화, 운동 왜곡, 가림, 시점 변화와 같은 현실적인 시나리오 요소를 고려한 평가를 가능하게 하기 위해.
• 박물관 환경에서 인간의 주의 집중을 반영하는 새로운 샐런시 기반 평가 지표를 도입하기 위해.

제안 방법

• 데이터셋은 제어된 소스 이미지(휴대폰 촬영, 중심에 위치, 가림 없음)와 자연스러운 박물관 상호작용 중에 복귀자들이 촬영한 실외 타겟 이미지를 사용하여 구성된다.
• 각 클래스의 산란 행렬과 Bregman 발산을 활용한 린만 기반 거리 측정법을 사용하여 정규화된 공분산 행렬을 모델링함으로써 강건한 도메인 정렬을 구현한다.
• 비유클리드 기하학을 적용한 So-HoT(2차 이상 전이) 모델을 확장하여 도메인 이동 간의 일반화 성능을 향상시킨다.
• 린만 거리에 대한 행렬 미분을 통해 기울기 역전파를 수행하는 엔드 투 엔드 학습을 사용하며, 정규성 유지에 기여하는 투영 행렬을 포함한다.
• 다양한 평가 프로토콜을 지원한다: 전시회 별 학습/평가, 전시회 간 학습, 시나리오 특화 요소에 대한 분리 분석.
• 새로운 샐런시 기반 평가 지표를 도입하며, 복귀자가 전시물의 중심성에 따라 순위를 매기고, 모델은 상위-k 예측 정확도로 평가된다.

실험 결과

연구 질문

• RQ1 조명, 시점, 가림, 운동 왜곡 등으로 인해 발생하는 실제 박물관 환경의 도메인 이동이 최신 기술 수준의 도메인 적응 모델의 성능에 어떤 영향을 미치는가?
• RQ2 린만 기하학과 Bregman 발산을 적용함으로써 박물관 전시물의 시각적 특징에서 도메인 적응의 강건성을 향상시킬 수 있는가?
• RQ3 이 새로운 실외 환경 기반 벤치마크에서 지도 학습 기반 도메인 적응 방법과 비지도 학습 방법의 성능는 어떻게 비교되는가?
• RQ4 반사, 투명성, 비평면성과 같은 시나리오 특화 요소가 정확도에 얼마나 큰 영향을 미치는가?
• RQ5 10개의 박물관 전시 공간에서 수집한 데이터를 종합적으로 학습한 모델이 얼마나 잘 일반화되는가?

주요 결과

• 제안된 린만 기반 거리 측정법을 사용한 So-HoT 모델은 Hon 서브셋에서 77.3%의 정확도를 기록하여, 비지도 학습 방법인 DHN(64.6%)과 JAN(65.2%)보다 뚜렷이 뛰어난 성능을 보였다.
• Clk 서브셋에서는 61.2%의 정확도를 기록하여, 혼잡함과 시점 변화와 같은 도전적인 조건에서도 강력한 성능을 입증했다.
• 비지도 도메인 적응 방법(RTN, JAN, DHN)은 가장 곤경스러운 서브셋에서 67% 이하의 점수를 기록하여, 이러한 복잡한 시각적 도메인에서는 타겟 데이터의 레이블이 필요함을 시사했다.
• 샐런시 기반 평가 결과, 도메인 적응을 적용한 모델이 박물관 환경에서 인간의 주의 집중을 예측하는 데 기초 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 데이터셋 분석 결과, 심지어 최신 기술 수준의 모델도 비평면성, 투명성 또는 반사성 전시물에 대해 어려움을 겪는 것으로 나타나, 향상된 기하학적 및 광학적 불변성의 필요성을 강조했다.
• Office-Home 데이터셋 대비 Open MIC에서의 성능가 낮아, Open MIC가 기존의 벤치마크보다 더 도전적이고 현실적인 도메인 이동을 제공하고 있음을 시사했다.