[논문 리뷰] Semi-supervised Kernel Metric Learning Using Relative Comparisons

Ehsan Amid, Aristides Gionis외 1명|arXiv (Cornell University)|2016. 12. 01.

Face and Expression Recognition참고 문헌 22인용 수 8

한 줄 요약

이 논문은 상대적 거리 비교—특히 삼중항 기반의 이상치 선택(사용자가 세 개의 항목 중 가장 비유사한 항목을 식별함)—을 사용하여 로그 행렬식 브레그만 발산을 통해 커널 행렬을 학습하는 효율적인 준지도 학습 커널 거리 측정 학습 알고리즘을 제안한다. 기존의 must-link/cannot-link 제약 조건 또는 기타 상대적 비교 방법을 사용한 접근 방식보다, 특히 제약 조건이 희박하거나 모호할 경우 더 높은 클러스터링 품질을 달성한다.

ABSTRACT

We consider the problem of metric learning subject to a set of constraints on relative-distance comparisons between the data items. Such constraints are meant to reflect side-information that is not expressed directly in the feature vectors of the data items. The relative-distance constraints used in this work are particularly effective in expressing structures at finer level of detail than must-link (ML) and cannot-link (CL) constraints, which are most commonly used for semi-supervised clustering. Relative-distance constraints are thus useful in settings where providing an ML or a CL constraint is difficult because the granularity of the true clustering is unknown. Our main contribution is an efficient algorithm for learning a kernel matrix using the log determinant divergence --- a variant of the Bregman divergence --- subject to a set of relative-distance constraints. The learned kernel matrix can then be employed by many different kernel methods in a wide range of applications. In our experimental evaluations, we consider a semi-supervised clustering setting and show empirically that kernels found by our algorithm yield clusterings of higher quality than existing approaches that either use ML/CL constraints or a different means to implement the supervision using relative comparisons.

연구 동기 및 목표

• must-link 및 cannot-link 제약 조건이 미세 구조를 포괄하지 못하는 한계를 상대적 거리 비교를 통해 보완하기 위해.
• 명시적 이상치 레이블과 삼중항에서의 동일 거리임을 시사하는 '모르겠음' 응답을 모두 포함하는 커널 행렬 학습을 위한 효율적 알고리즘 개발을 위해.
• 기존의 이원 비교 제약 조건보다 더 풍부하고 세밀한 인간의 피드백을 활용하여 준지도 클러스터링에서의 거리 측정 학습 성능을 향상시키기 위해.
• 레이블이 제한된 상황에서 '모르겠음' 응답에서 유도된 등거리 제약 조건을 통합함으로써 거리 측정 품질 향상이 가능함을 입증하기 위해.

제안 방법

• 양의 정부호성과 부드러운 갱신을 보장하기 위해 로그 행렬식 브레그만 발산을 사용하여 커널 행렬 최적화로 거리 측정 학습을 공식화한다.
• 사용자가 세 개의 데이터 포인트 중 가장 비유사한 항목(이상치)을 식별하는 방식으로 상대적 거리 제약 조건을 삼중항 비교로 모델링한다.
• '모르겠음' 응답은 동일 거리 제약 조건으로 간주하여 세 항목이 대략 동일한 거리에 있음을 의미한다.
• 반복적인 브레그만 사영 알고리즘을 사용하여 행렬 역행렬과 콜레스키 분해를 포함한 닫힌 형태의 해를 통해 효율적인 커널 행렬 갱신을 수행한다.
• 커널 갱신을 해결하기 위해 이중 최적화를 사용하며, 라그랑주 승수에 대한 로그 행렬식 표현을 최대화하는 이중 문제를 수립한다.
• 계수 2의 갱신에 대해 효율적인 계산을 가능하게 하기 위해 재귀적 콜레스키 분해 기법을 적용한다.

실험 결과

연구 질문

• RQ1 삼중항 기반의 상대적 비교, 특히 '모르겠음' 응답을 포함한 경우, 기존의 must-link 및 cannot-link 제약 조건보다 더 나은 거리 측정 학습을 이끌 수 있는가?
• RQ2 사용자가 '모르겠음' 응답을 통해 유도한 등거리 신호를 통합함으로써 준지도 클러스터링에서 학습된 커널의 품질은 어떻게 향상되는가?
• RQ3 로그 행렬식 발산을 사용하는 제안된 커널 학습 알고리즘은 기존의 접근 방식보다 더 효과적이고 효율적인가, 특히 미세 구조를 포괄하는 데서?
• RQ4 이 방법은 레이블된 제약 조건의 수가 많지 않은 상황에서 클러스터링 성능을 유지하거나 향상시키면서 얼마나 많은 의존도를 줄일 수 있는가?

주요 결과

• 제안된 방법은 다양한 벤치마크 데이터셋에서 must-link 및 cannot-link 제약 조건을 사용한 기준선 대비 더 높은 클러스터링 품질을 달성한다.
• 사용자가 '모르겠음' 응답을 등거리 제약 조건으로 통합함으로써 성능 향상이 뚜렷하게 나타나며, 특히 데이터가 적은 상황에서 두드러진다.
• 닫힌 형태의 갱신과 계수 2 갱신에 대한 재귀적 콜레스키 분해 덕분에 알고리즘이 뛰어난 효율성과 확장성을 보인다.
• 로그 행렬식 브레그만 발산의 사용으로 최적화 과정 전반에 걸쳐 학습된 커널 행렬이 양의 정부호이고 잘 조절된 상태를 유지한다.
• 실증 결과에 따르면, 이상치 선택을 포함한 상대적 비교는 특히 다중 척도 데이터 관계를 포착하는 데 있어 이원 비교 제약 조건보다 더 정확한 거리 측정을 제공한다.