[논문 리뷰] Orthogonality-Promoting Distance Metric Learning: Convex Relaxation and Theoretical Analysis

Pengtao Xie, Wei Wu외 2명|arXiv (Cornell University)|2018. 02. 16.

Face and Expression Recognition인용 수 14

한 줄 요약

이 논문은 전역 최적해를 보장하는 전역 최적화를 가능하게 하기 위해 비볼록 성향의 정규화를 갖는 거리 메트릭 학습(DML) 문제에 볼록 근사 기법을 제안한다. CSFN, CLDD, CVND와 같은 볼록 정규화를 도입함으로써 균형성, 밀도성, 일반화 성능이 향상되며, 이는 희귀 클래스에서 AUC 향상과 비볼록 기반 방법보다 빠른 학습 속도로 입증된다.

ABSTRACT

Distance metric learning (DML), which learns a distance metric from labeled "similar" and "dissimilar" data pairs, is widely utilized. Recently, several works investigate orthogonality-promoting regularization (OPR), which encourages the projection vectors in DML to be close to being orthogonal, to achieve three effects: (1) high balancedness -- achieving comparable performance on both frequent and infrequent classes; (2) high compactness -- using a small number of projection vectors to achieve a "good" metric; (3) good generalizability -- alleviating overfitting to training data. While showing promising results, these approaches suffer three problems. First, they involve solving non-convex optimization problems where achieving the global optimal is NP-hard. Second, it lacks a theoretical understanding why OPR can lead to balancedness. Third, the current generalization error analysis of OPR is not directly on the regularizer. In this paper, we address these three issues by (1) seeking convex relaxations of the original nonconvex problems so that the global optimal is guaranteed to be achievable; (2) providing a formal analysis on OPR's capability of promoting balancedness; (3) providing a theoretical analysis that directly reveals the relationship between OPR and generalization performance. Experiments on various datasets demonstrate that our convex methods are more effective in promoting balancedness, compactness, and generalization, and are computationally more efficient, compared with the nonconvex methods.

연구 동기 및 목표

• 거리 메트릭 학습(DML)에서 균형성 향상을 위한 정규화 기반 정규화(Opr)의 이론적 이해 부족 문제를 해결한다.
• 비볼록 Opr 형식의 계산 불가능성을 극복하기 위해 전역 최적성을 보장하는 볼록 근사 기법을 개발한다.
• Opr와 일반화 오차 간의 직접적인 이론적 연결 고리를 제공하며, 볼록 정규화의 감소가 일반화 오차 경계를 강화함을 보여준다.
• 의료, 텍스트, 이미지, 센서 데이터를 포함한 다양한 데이터셋에서 균형성, 밀도성, 일반화 성능 향상을 입증한다.

제안 방법

• Schatten-p 노름, 핵노름, 로그행렬식 기반 정규화(CSFN, CLDD, CVND)를 사용해 비볼록 Opr 목표함수의 볼록 근사 기법을 개발한다.
• 비볼록 정규화 조건을 볼록 대체함수로 대체하여 DML 문제를 볼록 최적화 문제로 재구성한다.
• 단일 초기화로 전역 최적해에 수렴하는 효율적인 프록시멀 그래디언트 강하 알고리즘을 설계한다.
• 볼록 정규화의 크기와 일반화 오차 경계 간의 이론적 프레임워크를 제안한다.
• 실험을 통해 비볼록 대체형식(SFN, LDD, VND)과의 경험적 상관관계를 입증함으로써 볼록 정규화를 그 대체로 사용한다.
• 다양한 데이터 모odal에서의 검색 작업에 학습된 메트릭을 적용하고, 빈도 높은 클래스와 희귀 클래스에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 DML에서 비볼록 Opr 문제의 볼록 근사 기법이 전역 최적성과 계산 효율성을 달성할 수 있는가?
• RQ2 정규화 기반 정규화가 빈도 높은 클래스와 희귀 클래스 간의 균형성 향상에 어떻게 이론적으로 기여하는가?
• RQ3 DML에서 Opr와 일반화 오차 간의 직접적인 이론적 관계는 무엇인가?
• RQ4 제안된 볼록 정규화가 비볼록 Opr 방법의 성능을 효과적으로 근사하는가?
• RQ5 볼록 Opr 프레임워크는 밀도성과 일반화 성능 향상을 이끌 수 있으며, 검색 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• 볼록 정규화(CSFN, CLDD, CVND)는 비볼록 Opr 목표함수를 효과적으로 근사하며, 정규화 강도가 증가할수록 비볼록 정규화 값이 일관되게 감소한다.
• 제안된 볼록 DML 방법은 비볼록 기반 방법보다 희귀 클래스에서 유의미하게 높은 AUC를 기록하여 균형성 향상을 입증한다.
• 학습 시간이 크게 단축되어 비정규화된 비볼록 방법 대비 최대 12배 빠른 속도를 기록함으로써 초모수 튜닝 루프의 제거로 인한 효율성 향상을 입증한다.
• 일반화 오차 경계는 볼록 정규화와 직접 연결되며, 이러한 정규화를 최소화함으로써 일반화 오차의 상한선이 감소함을 보여준다.
• 의료, 텍스트, 이미지, 센서 데이터를 포함한 다양한 데이터셋에서 검색 성능을 유지하거나 향상시키며, 더 적은 투영 벡터를 사용한다.
• AUC 및 균형성 점수의 표준편차가 기반 방법보다 낮아, 반복 실행 간에 더 안정된 성능을 보인다.