[논문 리뷰] Large-scale Distance Metric Learning with Uncertainty

Qi Qian, Jiasheng Tang외 3명|arXiv (Cornell University)|2018. 05. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 3

한 줄 요약

이 논문은 노이즈가 많고 불확실한 데이터로부터 강건한 거리 메트릭과 청소년 잠재 예측을 동시에 학습하는 대규모 거리 메트릭 학습 프레임워크인 마진 보존 메트릭 학습(MaPML)을 제안한다. 원시 데이터 대신 소규모 잠재 예측을 학습함으로써 MaPML는 수렴 속도를 높이고 왜곡에 대한 강건성을 향상시키며 원래 데이터의 큰 마진을 유지한다. 이는 CIFAR-10, CIFAR-100, ImageNet에서 최신 기술을 초월하는 정확도를 달성하면서도 이전 방법보다 훨씬 빠른 훈련 속도를 보인다.

ABSTRACT

Distance metric learning (DML) has been studied extensively in the past decades for its superior performance with distance-based algorithms. Most of the existing methods propose to learn a distance metric with pairwise or triplet constraints. However, the number of constraints is quadratic or even cubic in the number of the original examples, which makes it challenging for DML to handle the large-scale data set. Besides, the real-world data may contain various uncertainty, especially for the image data. The uncertainty can mislead the learning procedure and cause the performance degradation. By investigating the image data, we find that the original data can be observed from a small set of clean latent examples with different distortions. In this work, we propose the margin preserving metric learning framework to learn the distance metric and latent examples simultaneously. By leveraging the ideal properties of latent examples, the training efficiency can be improved significantly while the learned metric also becomes robust to the uncertainty in the original data. Furthermore, we can show that the metric is learned from latent examples only, but it can preserve the large margin property even for the original data. The empirical study on the benchmark image data sets demonstrates the efficacy and efficiency of the proposed method.

연구 동기 및 목표

• 삼중항 제약 조건의 제곱 또는 세제곱 증가로 인해 대규모 거리 메트릭 학습(DML)이 계산적으로 불가능해지는 문제를 해결하기 위해.
• 자세, 조명, 노이즈 등의 왜곡이 있는 이미지 데이터에서의 데이터 불확실성에 대한 강건성을 향상시키기 위해, 데이터를 청소년 잠재 예측의 변형으로 모델링함으로써.
• 훈련 예측 수를 소규모 잠재 예측 세트로 줄여 DML에서 효율적인 액티브 세트 최적화를 가능하게 하기 위해.
• 학습된 메트릭이 잠재 예측 뿐 아니라 원래의 노이즈가 있는 데이터에 대해서도 큰 마진을 유지하도록 보장하기 위해.
• ImageNet을 포함한 대규모 벤치마크에서 제안된 방법의 효용성과 효율성을 입증하기 위해.

제안 방법

• 이 방법은 동일한 훈련 데이터로부터 거리 메트릭과 잠재 예측을 동시에 최적화하는 마진 보존 메트릭 학습 프레임워크를 도입한다.
• 각 원본 데이터 포인트를 청소년 잠재 예측의 변형으로 모델링하여 데이터 불확실성을 감소시키고 일반화 능력을 향상시킨다.
• 프레임워크는 활성 삼중항 제약 조건을 사용하며, 오직 위반된 삼중항만 처리되며, 잠재 예측의 소규모 크기를 활용해 이 단계를 계산적으로 가능하게 한다.
• 하나의 하위문제 해결 방법과 커팅 플레인 방법을 사용한 최적화로 빠른 수렴을 달성한다.
• 학습된 메트릭은 원본 데이터에 적용되며, 이 메트릭이 큰 마진 성질을 이론적으로나 실험적으로 유지함을 보여준다.
• 사전 학습된 네트워크가 필요 없이 픽셀 수준의 특징을 직접 사용함으로써, 이미지로 복원 가능한 해석 가능한 잠재 예측을 회복할 수 있다.

실험 결과

연구 질문

• RQ1 청소년 잠재 예측의 소규모 세트에서 학습함으로써 대규모 거리 메트릭 학습의 계산 비용을 크게 줄일 수 있는가?
• RQ2 잠재 예측에서 학습함으로써 이미지 왜곡과 같은 데이터 불확실성에 대한 강건성이 향상되는가?
• RQ3 잠재 예측에서만 학습된 메트릭이 원래의 노이즈가 있는 데이터에 대해 큰 마진을 유지할 수 있는가?
• RQ4 ImageNet과 같은 대규모 벤치마크에서 기존 DML 방법과 비교해 제안된 방법의 정확도와 효율성은 어떠한가?
• RQ5 원시 데이터 대신 잠재 예측에서 훈련할 경우, 대규모 DML에서 액티브 세트 전략을 효율적으로 적용할 수 있는가?

주요 결과

• CIFAR-10에서 MaPML는 테스트 오차율 12.64% ± 0.16을 기록하여 LMNN(13.62% ± 0.12)과 OASIS(15.22% ± 0.18)를 능가했다.
• CIFAR-100에서 MaPML는 오차율 34.70% ± 0.16을 기록하여 OASIS(42.46% ± 0.21)와 HR-SGD(42.53% ± 0.19)보다 뚜렷이 뛰어났다.
• ImageNet에서 MaPML는 사전 학습된 ResNet18의 특징을 사용함에도 불구하고 테스트 오차율을 33.92% ± 0.09로 낮춰 기준 유사도 메트릭(35.65%)보다 1.7% 향상시켰다.
• MaPML는 ImageNet에서 약 1시간 내에 훈련을 완료했고, LMNN는 24시간 이내에 훈련을 완료하지 못해 더 뛰어난 확장성(스케일러빌리티)을 입증했다.
• 원본 데이터를 사용할 경우 인퍼런스 시간이 1장당 0.15초에서 잠재 예측을 사용할 경우 0.007초로 감소하여 실시간 배포가 가능해졌다.
• 시각화 결과는 원본 이미지가 학습된 잠재 예측의 왜곡으로 잘 설명됨을 확인하여 모델의 데이터 생성 가정이 타당함을 입증했다.