[논문 리뷰] Cross-Domain Object Matching with Model Selection

Makoto Yamada, Masashi Sugiyama|arXiv (Cornell University)|2010. 12. 07.

Advanced Image and Video Retrieval Techniques참고 문헌 22인용 수 31

한 줄 요약

이 논문은 커널 기반의 종속 측정법에서 모델 선택 문제를 해결하기 위해 두 가지 새로운 교차 도메인 객체 매칭(CDOM) 방법—KS-NOCCO와 최소 제곱 객체 매칭(LSOM)—을 제안한다. LSOM은 교차 검증을 통해 최소 제곱 상호정보를 사용하여, 이미지 매칭, 음성 변환, 사진 앨범 요약 등에서 기존 방법들을 능가하며, 커널 파라미터를 데이터 기반으로 자동 조정할 수 있게 한다.

ABSTRACT

The goal of cross-domain object matching (CDOM) is to find correspondence between two sets of objects in different domains in an unsupervised way. Photo album summarization is a typical application of CDOM, where photos are automatically aligned into a designed frame expressed in the Cartesian coordinate system. CDOM is usually formulated as finding a mapping from objects in one domain (photos) to objects in the other domain (frame) so that the pairwise dependency is maximized. A state-of-the-art CDOM method employs a kernel-based dependency measure, but it has a drawback that the kernel parameter needs to be determined manually. In this paper, we propose alternative CDOM methods that can naturally address the model selection problem. Through experiments on image matching, unpaired voice conversion, and photo album summarization tasks, the effectiveness of the proposed methods is demonstrated.

연구 동기 및 목표

• 커널 기반 종속 측정법을 사용한 교차 도메인 객체 매칭(CDOM)에서 수동으로 커널 파라미터를 조정하는 문제를 해결한다.
• KS-MI 및 KS-HSIC와 같은 기존 방법들은 히ュ리스틱 또는 최적화되지 않은 커널 파라미터 선택에 의존하므로 이를 극복한다.
• 교차 검증을 통해 객관적이고 데이터 기반의 모델 선택이 가능한 CDOM 방법을 개발한다.
• 이러한 방법들이 다양한 작업—이미지 매칭, 비쌍체 음성 변환, 사진 앨범 요약—에서 효과적임을 입증한다.
• 최소 제곱 객체 매칭(LSOM)이 하이퍼파rameter 민감도가 최소화된 강력하고 일관되며 실용적인 CDOM 접근법임을 확립한다.

제안 방법

• 정규화된 교차 공분산 연산자(NOCCO)를 커널 기반 종속 측정법으로 사용하는 CDOM 방법인 KS-NOCCO를 제안하며, 이는 渐近적으로 커널 선택에 영향을 받지 않는다.
• 최소 제곱 상호정보(LSMI)를 제곱 손실 상호정보의 일致한 추정량으로 사용하는 최소 제곱 객체 매칭(LSOM)을 도입한다.
• LSMI 기준에 대한 교차 검증을 통해 커널 폭 및 정규화 파라미터와 같은 조정 파라미터를 객관적으로 최적화할 수 있도록 한다.
• 객체 집합 $\{\bm{x}_i\}$ 와 $\{\bm{y}_i\}$ 간의 매핑을 표현하기 위해 순열 행렬 $\bm{\Pi}$ 를 사용하며, 종속 측정법 $D(Z(\bm{\Pi}))$ 의 최대화를 목표로 한다.
• 수치적 안정성을 확보하기 위해 가우시안 커널 $K(\bm{x}, \bm{x}') = \exp(-\|\bm{x} - \bm{x}'\|^2 / (2\tau^2))$ 과 정규화를 사용한 커널 기반 공식을 적용한다.
• 이미지를 고차원 벡터(예: RGB는 4800D, 회색조는 256D)로 변환하고, 이를 2차원 격자 프레임에 정렬하여 실제 응용에 적용한다.

실험 결과

연구 질문

• RQ1 히ュ리스틱에 의존하지 않고 커널 파라미터 선택에 민감도가 낮은 CDOM 방법을 개발할 수 있는가?
• RQ2 유한 표본 설정에서 정규화된 교차 공분산 연산자(NOCCO) 기반 종속 측정법이 HSIC보다 더 강력한 성능을 보일 수 있는가?
• RQ3 교차 검증을 통해 CDOM에 다수의 조정 파라미터를 데이터 기반으로 효과적으로 최적화할 수 있는가?
• RQ4 이미지 매칭 및 음성 변환과 같은 다양한 작업에서 LSOM이 KS-HSIC 및 KS-NOCCO에 비해 성능 면에서 뛰어나게 되는가?
• RQ5 사진 앨범 요약 작업에서 시각적으로 유사한 이미지를 공간적으로 그룹화함으로써 LSOM이 더 뛰어난 정렬 품질을 달성할 수 있는가?

주요 결과

• 비쌍체 음성 변환 작업에서 LSOM은 100회의 실행 평균으로 로그 스펙트럼 거리가 더 낮아 KS-HSIC 및 KS-NOCCO를 능가한다.
• 사진 앨범 요약 작업에서 LSOM은 '산', '미소', '777' 등의 직사각형 및 복잡한 형태의 프레임에 이미지를 성공적으로 정렬하여, 시각적으로 유사한 이미지들이 공간적으로 그룹화되었다.
• 40×40×3 크기로 리사이징한 320장의 Flickr 이미지에 대해 LSOM은 도식 6(a)에 나타나 있듯이 색상 유사도 기반으로 이미지가 군집화된 일관된 레이아웃을 생성했다.
• Frey 데이터셋의 225장의 얼굴 이미지를 사용한 결과, LSOM은 표정과 시야 방향에 따라 이미지를 정렬하여 도식 6(b)에 나타난 것처럼 일관된 '미소' 모양의 레이아웃을 형성했다.
• 숫자 인식 작업에서 LSOM은 320장의 숫자 '7' 이미지를 프로파일 유사도 기반으로 그룹화하여 도식 6(c)에 나타난 것처럼 명확한 '777' 형태의 레이아웃을 형성했다.
• LSOM에서 교차 검증을 활용함으로써 커널 폭 및 정규화 파라미터의 자동이고 객관적인 조정이 가능해져 수동 파라미터 설정이 제거되었다.