[논문 리뷰] Jointly Learning Multiple Measures of Similarities from Triplet Comparisons

Liwen Zhang, Subhransu Maji외 1명|arXiv (Cornell University)|2015. 03. 05.

Multimodal Machine Learning Applications참고 문헌 28인용 수 4

한 줄 요약

이 논문은 삼중 비교를 통해 다중 시각 고유의 유사도 측정법을 공동으로 학습하는 프레임워크를 제안하며, 각 시각을 공통 전역 임bedding의 저질서 프로젝션으로 모델링한다. 공유된 행렬 분해 방법과 트레이스 노름 정규화를 통해 시각 간 상관관계를 활용함으로써, 독립적 또는 통합 학습보다 더 낮은 삼중 비교 일반화 오차를 달성하며, 특히 자료가 제한된 상황에서 뛰어난 성능을 보이며, ISOLET 데이터셋에서 MT-LMNN를 능가한다.

ABSTRACT

Similarity between objects is multi-faceted and it can be easier for human annotators to measure it when the focus is on a specific aspect. We consider the problem of mapping objects into view-specific embeddings where the distance between them is consistent with the similarity comparisons of the form "from the t-th view, object A is more similar to B than to C". Our framework jointly learns view-specific embeddings exploiting correlations between views. Experiments on a number of datasets, including one of multi-view crowdsourced comparison on bird images, show the proposed method achieves lower triplet generalization error when compared to both learning embeddings independently for each view and all views pooled into one view. Our method can also be used to learn multiple measures of similarity over input features taking class labels into account and compares favorably to existing approaches for multi-task metric learning on the ISOLET dataset.

연구 동기 및 목표

• 소음이 많고 모호한 유사도 판단 문제를 다루기 위해 시각 고유의 비교에 집중함으로써 다중 시각 데이터에서의 과제를 해결한다.
• 제한된 자료에서 일반화 능력을 향상시키기 위해 시각 간 상관관계를 활용하는 시각 고유의 임베딩을 공동으로 학습한다.
• 공통 저차원 임베딩과 시각 고유의 국소 측정법을 사용하여 다중 유사도 측정법을 모델링한다.
• 입력 특징과 클래스 레이블을 통합하여 다중 작업 유사도 학습 프레임워크를 확장한다.
• 합성 및 실세계 데이터셋에서 독립 학습 및 통합 학습 대비 향상된 성능을 입증한다.

제안 방법

• 이 방법은 각 시각의 유사도 측정법을 공통 전역 임베딩 행렬 $\boldsymbol{L}$ 과 시각 고유의 양의 정부호 행렬 $\boldsymbol{M}_t$ 의 곱으로 모델링하며, 즉 $\boldsymbol{L}\boldsymbol{M}_t\boldsymbol{L}^\top$ 로 표현한다.
• 학습 문제를 삼중 비교에 대한 허프만 손실 또는 로지스틱 손실 최소화로 설정하며, $\boldsymbol{L}$ 과 $\boldsymbol{M}_t$ 에 트레이스 노름 정규화를 적용하여 모델 복잡도와 질서를 제어한다.
• 최적화는 번갈아가며 수행되며, 먼저 $\boldsymbol{L}$ 을 고정하고 $\boldsymbol{M}_t$ 를 갱신한 후, $\boldsymbol{M}_t$ 를 고정하고 $\boldsymbol{L}$ 을 갱신한다.
• 각 클래스를 하나의 시각으로 간주하여 입력 특징과 클래스 레이블을 통합함으로써 다중 작업 유사도 학습으로 프레임워크를 확장한다.
• 고차원 특징에 대해 PCA 차원 축소를 적용하고, stochastic optimization을 사용하여 모델을 학습한다. ISOLET 실험에서와 동일한 방식이다.
• 모델은 합성 데이터, 항공기 자세, CUB 새 부위 비교, 다중 작업 학습을 위한 ISOLET 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 공통 임베딩을 사용하여 시각 고유의 유사도 측정법을 공동으로 학습함으로써, 독립 학습 또는 통합 학습 대비 일반화 능력 향상이 가능한가?
• RQ2 시각 간 상관관계가 공동 학습 프레임워크 성능에 어떤 영향을 미치는가?
• RQ3 입력 특징과 클래스 레이블이 가용할 경우 제안된 방법이 다중 유사도 측정법을 효과적으로 학습할 수 있는가?
• RQ4 공동 모델은 MT-LMNN와 같은 최신 다중 작업 유사도 학습 기준 모델을 능가하는가?
• RQ5 정규화가 적용된 경우, 임bedding 차원 $D$ 의 선택에 대해 방법이 얼마나 민감한가?

주요 결과

• 제안된 방법은 모든 테스트 데이터셋에서 독립 학습 및 통합 학습보다 낮은 삼중 비교 일반화 오차를 달성하며, 특히 학습 자료가 제한된 경우 두드러진 성능 향상을 보인다.
• 집단적으로 평가된 CUB 새 데이터셋에서 부위 기반 비교를 수행한 결과, 공동 모델은 독립 및 통합 접근 방식보다 유의미하게 뛰어난 성능을 보였다.
• ISOLET 데이터셋에서, 시각 고유의 경우 테스트 오차율은 5.19%이며, 모든 데이터를 통합한 경우 4.01%를 기록하여 원래의 MT-LMNN 결과를 능가했다.
• 방법은 임베딩 차원 $D$ 에 대해 약한 의존성을 보이며, Proposition 1이 지지하는 바와 같이, 정규화가 효과적인 차원을 제어함을 시사한다.
• 시각 간 유사도가 높지만 서로 중복되지 않는 경우 공동 학습 프레임워크가 가장 효과적이다. 삼중 비교 일致성으로 측정된 바이다.
• 삼중 비교 수가 적은 경우에도 모델이 잘 일반화되며, 유사도 학습에서 자료 효율성을 입증한다.