[논문 리뷰] Learning Multi-modal Similarity

Brian McFee, Gert Lanckriet|arXiv (Cornell University)|2010. 08. 30.

Video Analysis and Summarization참고 문헌 45인용 수 117

한 줄 요약

이 논문은 인간이 제공한 상대적 비교(예: 'x는 y보다 z보다 더 유사한가?')를 사용하여 다양한 모odal 데이터(예: 음성, 시각, 텍스트 기능)를 통합하여 통합된 유사성 공간에 통합하는 다중 커널 학습 프레임워크를 제안한다. 상대적 비교 제약 조건을 위한 허지 손실 서로서프를 사용하는 볼록 최적화 문제로 문제를 공식화함으로써, 인간의 인지적 유사성 측정에서의 일관성 결여를 최소화하면서도 새로운 데이터에 대한 효율적인 유사성 계산을 지원하는 강건하고 샘플 외 확장 가능(embedding)을 학습한다.

ABSTRACT

In many applications involving multi-media data, the definition of similarity between items is integral to several key tasks, e.g., nearest-neighbor retrieval, classification, and recommendation. Data in such regimes typically exhibits multiple modalities, such as acoustic and visual content of video. Integrating such heterogeneous data to form a holistic similarity space is therefore a key challenge to be overcome in many real-world applications. We present a novel multiple kernel learning technique for integrating heterogeneous data into a single, unified similarity space. Our algorithm learns an optimal ensemble of kernel transfor- mations which conform to measurements of human perceptual similarity, as expressed by relative comparisons. To cope with the ubiquitous problems of subjectivity and inconsistency in multi- media similarity, we develop graph-based techniques to filter similarity measurements, resulting in a simplified and robust training procedure.

연구 동기 및 목표

• 다양한 모달 데이터(예: 음성, 시각, 텍스트)를 하나의 일관된 유사성 공간으로 통합하는 문제를 해결하기 위해.
• 사람이 제공한 인지적 유사성 평가에서의 주관성과 일관성 결여에 강건한 학습 프레임워크를 개발하기 위해.
• 새로운, 관측되지 않은 데이터 포인트에 대해 샘플 외 확장을 가능하게 하여 유사성 계산을 수행하기 위해.
• 이진 또는 정량적 유사성 레이블이 아닌 상대적 비교 제약 조건을 사용하여 유사성 임베딩을 최적화하기 위해.
• 모달 특성별 표현의 최적 융합을 위한 다중 커널 학습을 지원하기 위해.

제안 방법

• 측정값의 상대적 비교를 사용하여 유사성 학습 문제를 공식화: 'x는 y보다 z보다 더 유사한가?'를 부가 정보로 사용.
• 위반된 상대적 비교 제약 조건에 대해 허지 손실 서로서프를 최소화하는 볼록 최적화 문제로 학습 작업을 모델링.
• 다양한 모달에 특화된 커널을 조합하기 위해 다중 커널 학습(MKL)을 활용하며, 경사 하강법을 통해 공유된 마할라노비스 거리 행렬을 학습.
• 각 최적화 단계 이후에 학습된 커널 행렬에 대해 정규성 양의 정의(PSD) 제약 조건을 만족시키기 위해 스펙트럼 투영을 적용.
• 학습 전에 노이즈가 있거나 일관성이 없는 유사성 측정값을 정제하기 위해 그래프 기반 필터링을 적용.
• 새로운 데이터 포인트에 대한 유사성 계산이 동일한 거리 측정법을 사용할 수 있도록 매개변수화된 임베딩을 학습함으로써 샘플 외 확장을 지원.

실험 결과

연구 질문

• RQ1 단일 모달이 일관되거나 완전한 유사성 측정을 제공하지 못할 경우, 어떻게 다중모달 데이터를 최적의 통합 유사성 공간에 통합할 수 있는가?
• RQ2 이진 또는 정량적 유사성 레이블보다 상대적 비교('x는 y보다 z보다 더 유사한가?')가 더 강건하고 일관성 있는 부가 정보로 기능할 수 있는가?
• RQ3 인지적 유사성에 대한 인간의 평가에서의 이면자 간 변동성과 일관성 없는 판단에 강건한 학습 알고리즘을 어떻게 설계할 수 있는가?
• RQ4 어떤 최적화 프레임워크가 이질적인 모달의 효과적 융합과 샘플 외 유사성 계산을 동시에 가능하게 하는가?
• RQ5 기본적인 메트릭 학습 방법에 비해 제안된 방법이 얼마나 향상된 유사성 검색 및 랭킹 성능을 달성하는가?

주요 결과

• 제안된 방법은 이진 또는 정량적 유사성 레이블보다 더 강건한 상대적 비교 데이터를 효과적으로 활용함으로써, 유사성 검색 및 랭킹 작업에서 뛰어난 성능을 달성한다.
• 볼록 허지 손실 서로서프의 사용은 주어진 제약 조건 하에서 효율적인 최적화와 전역 최적 해에의 수렴을 가능하게 한다.
• 유사성 측정값에 대한 그래프 기반 필터링은 일관성 없거나 노이즈가 있는 비교를 제거함으로써 학습의 강건성을 크게 향상시킨다.
• 이 방법은 샘플 외 확장을 지원하여 전체 모델을 재학습하지 않고도 새로운 데이터 포인트에 대한 유사성 계산이 가능하다.
• 다중 커널 학습 공식화는 이질적인 모달의 최적 융합을 가능하게 하며, 각 모달이 최종 유사성 공간에 비례하여 기여한다.
• 성능 평가 지표로 일반화된 AUC(GAUC) 점수가 사용되었으며, 높은 GAUC 값을 달성함으로써 인간의 인지적 유사성 판단과의 강한 일치를 보여준다.