[논문 리뷰] Learning Local Invariant Mahalanobis Distances

Ethan Fetaya, Shimon Ullman|arXiv (Cornell University)|2015. 02. 04.

Image Retrieval and Classification Techniques참고 문헌 24인용 수 8

한 줄 요약

이 논문은 전역적 방법이 실패하는 약한 지도 학습 환경에서도 작동할 수 있도록, 오직 부정 예제만을 사용하여 국소적으로 불변하는 마할라노비스 거리 학습을 위한 효율적인 방법을 제안한다. 이는 로테이션 및 트랜슬레이션과 같은 변환에 대해 강건성을 확보한다. 문제를 이차 프로그래밍으로 재구성함으로써, MNIST와 LFW에서 각각 1.26% 및 19.48%의 오차율로 최신 기술 수준을 달성한다.

ABSTRACT

For many tasks and data types, there are natural transformations to which the data should be invariant or insensitive. For instance, in visual recognition, natural images should be insensitive to rotation and translation. This requirement and its implications have been important in many machine learning applications, and tolerance for image transformations was primarily achieved by using robust feature vectors. In this paper we propose a novel and computationally efficient way to learn a local Mahalanobis metric per datum, and show how we can learn a local invariant metric to any transformation in order to improve performance.

연구 동기 및 목표

• 전역적 거리 학습 방법의 한계를 해결하기 위해, 레이블이 필요한데도 불구하고 로테이션 및 트랜슬레이션과 같은 변환에 대한 국소적 불변성을 처리하지 못하는 문제를 해결한다.
• 레이블링 부담을 줄이기 위해 오직 부정 예제만을 활용하여 각 데이터 포인트에 대해 고유한 마할라노비스 거리 학습을 위한 계산적으로 효율적인 방법을 개발한다.
• 데이터 변환(예: 이동, 회전)에 대한 사전 지식을 국소 거리 학습에 통합하여 강건성과 성능을 향상시킨다.
• 전체 클래스 레이블이 없는 양성 및 부정 집합만 제공되는 약한 지도 학습 환경에서도 거리 학습을 가능하게 한다.

제안 방법

• 국소 마할라노비스 거리 학습을 정수형 프로그래밍으로 재구성한 후, 비용이 많이 드는 행렬 분해를 피하기 위해 이를 이차 프로그래밍으로 재정의한다.
• 두 번째 차수 테일러 근사법을 사용하여, 기저 거리 함수의 매끄러움을 가정함으로써 국소 거리를 마할라노비스 거리로 모델링하는 것을 정당화한다.
• 데이터 포인트의 변환된 형태(예: 이동된 이미지)가 원본과 가까워지도록 국소 거리 행렬을 제약 조건에 따라 설정함으로써 변환에 대한 불변성을 통합한다.
• 각 국소 거리 행렬을 오직 부정 예제만을 사용하여 학습시키는 약한 지도 학습 기반의 학습 체계를 도입함으로써, 부정 집합에 대한 양성 레이블이 필요 없도록 한다.
• YALMIP 를 통해 일阶 방법(예: SCS)을 사용하여 최적화 문제를 해결함으로써, 표준 정수형 프로그래밍 솔버 대비 상당한 속도 향상을 달성한다.
• 학습된 거리 함수를 사용하여 k=3 인근 이웃을 검색하고, k-NN 분류에 적용한다.

실험 결과

연구 질문

• RQ1 부정 집합에 대한 클래스 레이블이 필요 없이 오직 부정 예제만을 사용하여 국소 마할라노비스 거리를 효율적으로 학습시킬 수 있는가?
• RQ2 데이터 변환(예: 이동, 회전)에 대한 사전 지식을 국소 거리 학습에 통합하여 불변성을 향상시킬 수 있는가?
• RQ3 약한 지도 학습 환경에서 국소 불변 마할라노비스 거리가 전역적 또는 예제 기반 방법보다 우수한 성능을 낼 수 있는가?
• RQ4 정수형 프로그래밍 대비 이차 프로그래밍을 통한 국소 거리 학습이 성능을 유지하면서도 계산적 이점이 상당한가?
• RQ5 변환에 대한 불변성이 MNIST 및 LFW와 같은 도전적인 벤치마크에서 성능 향상에 얼마나 기여하는가?

주요 결과

• MNIST 데이터셋에서 제안된 국소 불변 마할라노비스 방법은 테스트 오차율 1.26%를 달성하여 예제 기반 SVM(1.75%)를 능가하고, 최신 기술 수준의 MLMNN 방법과 동일한 성능을 보였다.
• 표준 예제 기반 SVM보다 뚜렷하게 뛰어나며, 데이터 증강을 적용한 이차 SVM(1.50% 오차율)조차도 오직 부정 예제만을 사용한 본 방법이 뛰어난 성능을 보였다.
• LFW 데이터셋에서 본 방법은 19.48%의 오차율을 기록하여 코사인 유사도(30.57%)와 예제 기반 SVM(26.90%)보다 뚜렷하게 뛰어나, 얼굴 인식 분야에서 강력한 일반화 능력을 입증했다.
• 본 방법의 계산 효율성은 검증되었으며, 이차 프로그래밍으로 문제를 해결하는 데 545±74초가 소요된 반면, 정수형 프로그래밍은 1152±417초가 소요되어 두 배 이상의 속도 향상을 보였다.
• 표준 국소 마할라노비스 거리와 데이터 증강을 적용한 이차 SVM보다도 본 방법이 더 뛰어난 성능을 보였으며, 이는 불변성의 유도적 편향이 강건성에 핵심적임을 시사한다.
• 전역 거리 학습 방법(LMNN, MLMNN 등)이 실패하는 상황, 예를 들어 단일 양성 예제와 레이블이 없는 부정 예제 집합만 존재하는 경우에도 본 방법이 적용 가능하다.