[논문 리뷰] A Combinatorial Algorithm to Compute Regularization Paths

Bernd Gärtner, Joachim Giesen외 2명|ArXiv.org|2009. 03. 27.

Multi-Criteria Decision Making참고 문헌 36인용 수 8

한 줄 요약

이 논문은 정규화 경로를 정확하게 추적할 수 있도록 특이 또는 질량이 낮은 목적 행렬을 흔들지 않고도 전체 정규화 경로를 계산할 수 있는 강력하고 일반적인 조합적 크로스오버 알고리즘을 제안한다. 이는 기존의 방법이 비퇴화 또는 질량 부족 문제에서 실패하는 데 반해, 이 방법은 이러한 경우를 효율적으로 처리한다. 선택 기반 공액 분석에 대한 24단계 부분가치 추정 문제에서 실험한 결과, 초기 단계가 580단계였음에도 불구하고 굽이침에서의 경로 추적에 단지 48회의 반복만으로 성공하였다.

ABSTRACT

For a wide variety of regularization methods, algorithms computing the entire solution path have been developed recently. Solution path algorithms do not only compute the solution for one particular value of the regularization parameter but the entire path of solutions, making the selection of an optimal parameter much easier. Most of the currently used algorithms are not robust in the sense that they cannot deal with general or degenerate input. Here we present a new robust, generic method for parametric quadratic programming. Our algorithm directly applies to nearly all machine learning applications, where so far every application required its own different algorithm. We illustrate the usefulness of our method by applying it to a very low rank problem which could not be solved by existing path tracking methods, namely to compute part-worth values in choice based conjoint analysis, a popular technique from market research to estimate consumers preferences on a class of parameterized options.

연구 동기 및 목표

• 목적 행렬이 특이하거나 질량이 낮은 경우에도 작동하는 일반적이고 강력한 정규화 경로 알고리즘을 개발하는 것.
• 기존의 경로 추적 알고리즘이 커널 행렬이 질량 부족일 경우 실패하거나 흔들림이 필요한 문제를 해결하는 것.
• SVM, LASSO, 공액 분석 등 다양한 정규화 방법에 적용 가능한 통합 프레임워크를 제공하여 문제에 특화된 조정이 필요 없도록 하는 것.
• 기존 방법이 비퇴화로 인해 실패하는 실제 문제들, 예를 들어 선택 기반 공액 분석과 같이 낮은 질량의 문제에 대해 이 방법의 효과성을 입증하는 것.
• 해당 문제를 왜곡하고 계산 비용을 증가시키는 흔들림 기반 접근법에 대한 수치적으로 안정적이고 효율적인 대안을 마련하는 것.

제안 방법

• 이 방법은 행렬 역행렬을 사용하지 않고도 pQPs를 직접 해결하기 위해 조합적 크로스오버 알고리즘을 사용하여 특이하거나 질량이 낮은 헤시안 행렬을 강력하게 처리할 수 있다.
• 활성 제약 집합을 따라 이동하면서 전체 해 경로를 추적하여 원래 문제를 흔들지 않고 정확한 해를 유지한다.
• 이 알고리즘은 파arametric quadratic programming 이론에 기반하며 기하학적 프레임워크에서 초평면과 점 간의 이중성 원리를 활용한다.
• 특히 희소 문제, 예를 들어 선형 SVM과 공액 분석에 대해 수치적 불안정성에서 벗어나 효율적이다.
• 이 방법은 일반적이다: C-SVM, LASSO, ν-SVM, 일변도 SVM 등 단일 pQP로 줄어드는 모든 정규화 방법에 적용 가능하다.
• 선택 기반 공액 분석의 경우, 이 방법은 슬랙 변수를 포함한 소프트 마진 C-SVM으로 문제를 공식화하여 낮은 질량의 양의 준정적 행렬을 가진 pQP로 이어진다.

실험 결과

연구 질문

• RQ1 특이한 목적 행렬이 있는 경우에도 모든 기계학습 방법이 파arametric quadratic program로 줄어들 경우, 단일이고 일반적인 알고리즘이 정규화 경로를 계산할 수 있는가?
• RQ2 비퇴화 또는 낮은 질량 문제에서 기존의 경로 추적 알고리즘과 비교해 볼 때 크로스오버 방법은 수치적 안정성과 강성 면에서 어떻게 성능을 내는가?
• RQ3 희소하고 낮은 질량의 설계 행렬을 가진 실제 응용 분야, 예를 들어 선택 기반 공액 분석에서 이 방법은 해 경로를 효과적으로 추적할 수 있는가?
• RQ4 특히 해 경로의 굽이침에서 크로스오버 방법을 사용한 경로 추적의 계산 비용은 얼마인가?
• RQ5 행렬 흔들림을 피하면 기존의 표준 접근법보다 더 정확하고 안정적인 해 경로를 얻을 수 있는가?

주요 결과

• 크로스오버 알고리즘은 선택 기반 공액 분석에서 24단계 부분가치 추정 문제에 대해 전체 정규화 경로를 성공적으로 계산하였다. 이 문제는 기존 방법이 낮은 질량의 행렬로 인해 실패한다.
• C-구간이 1에서 6.09×10¹³까지 확장된 경로에서, 첫 번째 굽이침에 도달하기 위해 580회의 반복이 필요했고, 이후 두 번째 굽이침에는 47회, 세 번째 굽이침에는 22회의 반복만으로 성공하였다. 이는 굽이침에서의 높은 효율성을 보여준다.
• 원래 문제를 흔들지 않고도 이를 달성하여 진정한 해 경로를 유지하고 인위적인 질량 증가를 방지하였다.
• 알고리즘은 경로 추적 중에 오차가 누적되지 않는 수치적 안정성을 보였으며, 이는 흔들림 기반 방법과는 대조된다.
• 실험 결과는 크로스오버 방법이 비퇴화에 강건하며 실제 응용에서 흔히 발생하는 희소하고 낮은 질량의 문제에 적합함을 확인한다.
• 최적화되지 않은 실험적 구현이었지만, 향후 대규모 기계학습 작업에서 고성능 배포에 매우 유망한 전망을 보였다.