[논문 리뷰] Suboptimal Solution Path Algorithm for Support Vector Machine

Masayuki Karasuyama, Ichiro Takeuchi|arXiv (Cornell University)|2011. 05. 03.

Metaheuristic Optimization Algorithms Research참고 문헌 10인용 수 10

한 줄 요약

이 논문은 사용자가 정의한 최적성 허용 오차 내에서 각 점프점에서 동시에 여러 개의 활성 제약 조건을 변경할 수 있도록 허용함으로써 계산 비용을 줄이는 서포트 벡터 머신(SVM)을 위한 부분최적 해경로 알고리즘을 제안한다. 이 방법은 정확한 해경로와 유사한 일반화 성능를 유지하면서도 특히 높은 허용 오차 수준에서 점프점 수와 CPU 시간을 크게 감소시킨다.

ABSTRACT

We consider a suboptimal solution path algorithm for the Support Vector Machine. The solution path algorithm is an effective tool for solving a sequence of a parametrized optimization problems in machine learning. The path of the solutions provided by this algorithm are very accurate and they satisfy the optimality conditions more strictly than other SVM optimization algorithms. In many machine learning application, however, this strict optimality is often unnecessary, and it adversely affects the computational efficiency. Our algorithm can generate the path of suboptimal solutions within an arbitrary user-specified tolerance level. It allows us to control the trade-off between the accuracy of the solution and the computational cost. Moreover, We also show that our suboptimal solutions can be interpreted as the solution of a \emph{perturbed optimization problem} from the original one. We provide some theoretical analyses of our algorithm based on this novel interpretation. The experimental results also demonstrate the effectiveness of our algorithm.

연구 동기 및 목표

• 정확한 해경로 알고리즘의 높은 계산 비용, 특히 점프점 수가 많기 때문에 발생하는 문제를 해결하기 위해.
• SVM 최적화에서 해의 정확성과 계산 효율성 사이의 제어 가능한 트레이드오프를 가능하게 하기 위해.
• 부분최적 해를 편향된 최적화 문제의 해로 이론적으로 해석할 수 있도록 하기 위해.
• SMO에서 유도된 근사해와 같이 초기화 가능한 실용적인 알고리즘을 개발하기 위해.
• 부분최적 해경로가 정확한 해경로와 유사한 활성 집합 패턴과 분류 성능를 유지하는지 확인하기 위해.

제안 방법

• 알고리즘은 정확한 해경로를 수정하여 각 점프점에서 최대 B개의 활성 제약 조건이 동시에 변경되도록 허용함으로써 총 점프점 수를 감소시킨다.
• 다중 활성 집합 변화로 인한 탈진성 문제를 선형 시스템과 KKT 조건에 대한 효율적이고 정확한 갱신 전략을 통해 처리한다.
• 부분최적 해를 원래 SVM 최적화 문제의 변형된(편향된) 문제의 최적 해로 해석한다.
• 정확한 최적점이 아닌 점에서 시작하더라도 효율적인 해경로 추적을 가능하게 하기 위해 온난스타트 전략을 사용한다.
• 사용자가 지정한 최대 동반 변화 수 B 이내에서 랭크-m 갱신(1 ≤ m ≤ B)을 사용하여 활성 집합과 선형 시스템을 동적으로 갱신한다.
• 사용자가 허용 오차 수준 ε를 지정하며, 이는 부분최적성의 정도를 제어하고 따라서 정확성과 속도 사이의 트레이드오프를 조절한다.

실험 결과

연구 질문

• RQ1 부분최적 해경로 알고리즘이 일반화 성능를 희생시키지 않고 SVM에서 점프점 수와 계산 비용을 줄일 수 있는가?
• RQ2 제안된 알고리즘이 편향된 최적화 문제의 해로 해석될 경우 이의 이론적 성질과 안정성에 어떤 영향을 미치는가?
• RQ3 동시 활성 집합 변화 수의 최대값 B를 변화시킬 경우 계산 효율성과 해경로 품질에 어떤 영향을 미치는가?
• RQ4 부분최적 해경로와 정확한 해경로 사이의 활성 집합 역학과 분류 성능는 얼마나 유사한가?
• RQ5 SMO에서 생성된 근사해와 같이 초기화되더라도 엄격한 최적성 조건을 만족하지 못함에도 불구하고 알고리즘이 효과적으로 작동할 수 있는가?

주요 결과

• 부분최적 해경로 알고리즘은 정확한 해경로 대비 최대 50%의 CPU 시간 감소를 기록했으며, 특히 허용 오차 ε를 0.5로 설정했을 때 두드러졌다.
• 점프점 수가 크게 감소했으며, 특히 높은 허용 오차 수준에서 CPU 시간 감소율과 밀접한 상관관계를 보였다.
• 정확한 해경로와 부분최적 해경로 간의 활성 집합 소속 차이는 평균적으로 최대 10% 이내였으며, 활성 집합 역학에서 높은 유사성을 나타냈다.
• 부분최적 해의 테스트 오차율은 정확한 해경로와 거의 동일했다: 인터넷 광고 데이터셋 기준 0.0326(정확한 해) 대비 0.0328(부분최적 해).
• B를 n(동시 변경 가능한 최대 수에 제한 없음)으로 설정했을 때 CPU 시간이 B=10일 때보다 증가했으며, 이는 너무 큰 B 값이 성능을 떨어뜨릴 수 있음을 시사한다.
• 모든 테스트 데이터셋인 a5a, w5a, spam, 인터넷 광고에서 부분최적 해경로의 일반화 성능는 정확한 해경로와 유사했다.