[논문 리뷰] Random Forests for Metric Learning with Implicit Pairwise Position Dependence

Caiming Xiong, David Johnson외 2명|arXiv (Cornell University)|2012. 01. 03.

Face and Expression Recognition참고 문헌 18인용 수 22

한 줄 요약

이 논문은 랜덤 포레스트를 활용해 데이터 포인트 간 상대적이고 절대적인 쌍별 위치를 인코딩함으로써 특성 공간 전역에서 거리 함수를 암묵적으로 적응시키는 메트릭 학습 방법인 랜덤 포레스트 거리(RFD)를 제안한다. RFD는 여러 벤치마크에서 최신 기술 수준의 정확도를 달성하면서도 기존의 다중 메트릭 방법보다 최대 16배 빠르며, 정확도와 효율성 면에서 전역적 및 위치 기반 접근 방식을 모두 능가한다.

ABSTRACT

Metric learning makes it plausible to learn distances for complex distributions of data from labeled data. However, to date, most metric learning methods are based on a single Mahalanobis metric, which cannot handle heterogeneous data well. Those that learn multiple metrics throughout the space have demonstrated superior accuracy, but at the cost of computational efficiency. Here, we take a new angle to the metric learning problem and learn a single metric that is able to implicitly adapt its distance function throughout the feature space. This metric adaptation is accomplished by using a random forest-based classifier to underpin the distance function and incorporate both absolute pairwise position and standard relative position into the representation. We have implemented and tested our method against state of the art global and multi-metric methods on a variety of data sets. Overall, the proposed method outperforms both types of methods in terms of accuracy (consistently ranked first) and is an order of magnitude faster than state of the art multi-metric methods (16x faster in the worst case).

연구 동기 및 목표

• 복잡한 비선형 데이터 구조를 포괄하지 못하는 전역 마할라노비스 메트릭의 한계를 해결하기 위해.
• 각 인스턴스나 영역별로 별도의 메트릭을 학습하는 다중 메트릭 방법의 계산 비효율성을 극복하기 위해.
• 명시적인 각 인스턴스별 메트릭 저장 없이 국소 데이터 기하학에 암묵적으로 적응하는 단일 효율적 메트릭 학습 방법을 개발하기 위해.
• 일반화 성능 향상을 위해 거리 함수에 상대적이고 절대적인 쌍별 위치를 통합하기 위해.
• 다중 메트릭 방법 수준의 높은 정확도를 달성하면서도 전역 방법의 효율성을 유지하기 위해.

제안 방법

• RFD는 각 트리가 특성 공간을 분할하고 국소적 구조를 인코딩하는 기반 표현으로 랜덤 포레스트 분류기를 사용한다.
• 거리 계산에 상대적 위치(포인트 쌍 간의 차이)와 절대적 위치(쌍이 특성 공간 내에서의 위치)를 모두 통합한다.
• 거리 계산은 포레스트 내에서 포인트 쌍의 경로 유사도에 기반한다: 트리에서 유사한 경로를 따르는 쌍은 더 가까운 것으로 간주된다.
• 쌍별 제약 조건(유사/비유사 쌍)을 사용하여 거리 표현의 분류 성능을 향상시키기 위해 랜덤 포레스트를 훈련한다.
• 최종 거리는 모든 트리에서의 평균 경로 길이로부터 유도되며, 이는 국소 데이터 밀도와 기하학에 암묵적으로 적응한다.
• 명시적인 각 인스턴스별 메트릭 행렬을 방지함으로써 빠른 추론과 낮은 메모리 사용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 각 인스턴스별 메트릭을 저장하지 않고도 국소 데이터 기하학에 암묵적으로 적응할 수 있는 단일 메트릭 학습 방법은 가능한가?
• RQ2 상대적 위치에만 의존하는 방법에 비해 절대적 쌍별 위치 정보를 통합하면 메트릭 학습 성능가 향상되는가?
• RQ3 랜덤 포레스트 기반 접근 방식은 메트릭 학습에서 높은 정확도와 계산 효율성을 동시에 달성할 수 있는가?
• RQ4 정확도와 속도 면에서 RFD는 최신 기술 수준의 전역 및 다중 메트릭 방법과 어떻게 비교되는가?
• RQ5 절대적 위치 정보의 포함이 다양한 데이터 분포에서의 일반화 성능 향상에 기여하는가?

주요 결과

• RFD는 여러 데이터셋에서 k-NN 분류 성능에서 전역(예: ITML, DCA) 및 다중 메트릭 방법을 일관되게 뛰어넘었으며, 모든 평가에서 최고의 정확도를 기록했다.
• Corel 이미지 데이터셋에서 RFD는 10개 카테고리 중 9개에서 가장 높은 검색 정밀도를 달성했으며, 오직 한 카테고리에서만 약간의 성능 저하가 있었다.
• 가장 느린 다중 메트릭 방법 대비 RFD는 악성 케이스에서도 최대 16배 더 빠른 성능을 보이며 뚜렷한 계산 효율성을 입증했다.
• 다중 메트릭 방법과 달리 RFD는 큰 k 값에서도 높은 성능을 유지했으며, 데이터 내 전역 비선형성에 대한 강건성을 보였다.
• RFD는 ITML과 DCA보다 각각 7개 및 5개 카테고리에서 성능이 뛰어나 특정 데이터 영역에서의 성능 저하에 덜 민감함을 보였다.
• 메서드는 높은 일반화 능력을 보였으며, k 값이 증가함에 따라 성능 저하가 뚜렷하지 않았다. 이는 단일 전역 방법과는 대조적이다.