[논문 리뷰] Project and Forget: Solving Large Scale Metric Constrained Problems

Anna C. Gilbert, Rishi Sonthalia|arXiv (Cornell University)|2019. 09. 25.

Machine Learning and Algorithms참고 문헌 29인용 수 5

한 줄 요약

이 논문은 많은 부등식 제약 조건을 가진 대규모 거리 제약 최적화 문제를 해결하기 위해 Bregman 투영을 사용하는 활성집합 알고리즘인 Project and Forget을 소개한다. 이 알고리즘은 전역 수렴을 보장하며 $L_2$ 오차 감소가 지수적으로 이루어지며, 대규모 문제 인스턴스에서 거리 근접성, 상관관계 클러스터링, 거리 학습 문제를 해결하는 데 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

Given a set of dissimilarity measurements amongst data points, determining what metric representation is most consistent with the input measurements or the metric that best captures the relevant geometric features of the data is a key step in many machine learning algorithms. Existing methods are restricted to specific kinds of metrics or small problem sizes because of the large number of metric constraints in such problems. In this paper, we provide an active set algorithm, Project and Forget, that uses Bregman projections, to solve metric constrained problems with many (possibly exponentially) inequality constraints. We provide a theoretical analysis of extsc{Project and Forget} and prove that our algorithm converges to the global optimal solution and that the $L_2$ distance of the current iterate to the optimal solution decays asymptotically at an exponential rate. We demonstrate that using our method we can solve large problem instances of three types of metric constrained problems: general weight correlation clustering, metric nearness, and metric learning; in each case, out-performing the state of the art methods with respect to CPU times and problem sizes.

연구 동기 및 목표

• 매우 많은 수의 부등식 제약 조건을 가진 대규모 거리 제약 최적화 문제를 해결하는 데 도전하는 것.
• 기존 방법들이 작은 문제 크기나 특정한 거리 유형에 국한되어 있다는 한계를 극복하는 것.
• 이론적 수렴 보장을 유지하면서도 일반적인 거리 제약 조건을 처리할 수 있는 확장성 있고 효율적인 알고리즘을 개발하는 것.

제안 방법

• 알고리즘은 반복적으로 가장 관련성이 높은 거리 제약 조건을 식별하고 이를 강제로 적용하는 활성집합 전략을 사용한다.
• 활성 제약 조건으로 정의된 타당 영역 위로 반복적 점들을 효율적으로 투영하기 위해 Bregman 투영을 적용한다.
• 위반 여부 탐지 기반으로 활성집합에 제약 조건을 동적으로 추가하거나 제거함으로써, 대규모 또는 심지어 지수적으로 많은 수의 제약 조건에 대해서도 확장성을 확보한다.
• Bregman 산란도의 구조를 활용하여 수렴성을 보장하고 계산 효율성을 유지한다.
• 삼각 부등식과 음수 금지 조건과 같은 일반적인 거리 제약 조건을 통합된 프레임워크 내에서 처리할 수 있도록 설계되어 있다.
• 수렴이 진행됨에 따라 현재 반복값과 최적 해 사이의 $L_2$ 거리가 지수적으로 감소하여 빠른 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 Bregman 투영을 사용하는 활성집합 알고리즘이 지수적으로 많은 수의 제약 조건을 가진 대규모 거리 제약 문제를 효율적이고 신뢰성 있게 해결할 수 있는가?
• RQ2 제안된 방법이 $L_2$ 오차에서 전역 수렴과 지수 수렴 속도를 보장하는가?
• RQ3 CPU 시간과 문제 크기의 확장성 측면에서 Project and Forget의 성능은 다양한 거리 학습 작업에서 최신 기술과 비교해 어떻게 되는가?

주요 결과

• Project and Forget은 이론적 보장을 바탕으로 거리 제약 최적화 문제의 최적 해로 전역 수렴한다.
• 현재 반복값과 최적 해 사이의 $L_2$ 거리가 渐진적으로 지수적으로 감소한다.
• 이 방법은 일반적인 가중치를 가진 상관관계 클러스터링, 거리 근접성, 거리 학습 문제의 대규모 인스턴스를 성공적으로 해결한다.
• 세 가지 문제 유형 전반에서 CPU 시간과 문제 크기 확장성 면에서 최신 기술을 모두 능가한다.
• 이론적 수렴 속도가 실험적으로 확인되었으며, 대규모 벤치마크에서 뚜렷한 성능 향상을 보였다.
• 매우 많은 수의 제약 조건—심지어 크기가 지수적으로 증가하는 경우조차도 효율성 손실 없이 처리할 수 있다.