[논문 리뷰] Optimal Margin Distribution Machine

Teng Zhang, Zhi‐Hua Zhou|arXiv (Cornell University)|2016. 04. 12.

Face and Expression Recognition참고 문헌 40인용 수 15

한 줄 요약

이 논문은 최소 마진을 최대화하는 데 집중하는 SVM의 한계를 보완하기 위해 마진 평균과 분산을 동시에 최적화함으로써 일반화 성능을 향상시키는 새로운 분류 알고리즘인 최적 마진 분포 기반 기계(Optimal Margin Distribution Machine, ODM)를 제안한다. ODM는 32개의 정규 스케일 및 10개의 대규모 데이터셋에서 SVM과 최신 기법들을 능가하는 성능을 보이며, 더 우수한 마진 분포와 경쟁 가능한 계산 효율성을 확보한다.

ABSTRACT

Support vector machine (SVM) has been one of the most popular learning algorithms, with the central idea of maximizing the minimum margin, i.e., the smallest distance from the instances to the classification boundary. Recent theoretical results, however, disclosed that maximizing the minimum margin does not necessarily lead to better generalization performances, and instead, the margin distribution has been proven to be more crucial. Based on this idea, we propose a new method, named Optimal margin Distribution Machine (ODM), which tries to achieve a better generalization performance by optimizing the margin distribution. We characterize the margin distribution by the first- and second-order statistics, i.e., the margin mean and variance. The proposed method is a general learning approach which can be used in any place where SVM can be applied, and their superiority is verified both theoretically and empirically in this paper.

연구 동기 및 목표

• SVM이 오직 최소 마진만 최대화하는 데 그치는 한계를 해결하기 위해, 일반화에 마진 분포가 차지하는 역할을 더 잘 반영하는 방법을 제안한다.
• SVM이 적용 가능한 모든 상황에 적용 가능한 일반 목적의 학습 프레임워크를 개발하여 일반화 성능을 향상시킨다.
• 마진 분포—특히 평균과 분산—이 최소 마진보다 일반화에 더 중요하다는 점을 경험적이고 이론적으로 검증한다.
• 특히 대규모 데이터를 대상으로 하여 커널 및 선형 ODM에 대한 효율적인 최적화 알고리즘을 설계한다.

제안 방법

• ODM는 마진 분포를 일차 및 이차 모멘트 통계량인 마진 평균과 마진 분산을 사용하여 수식화한다.
• 최적화 목표는 마진 평균을 최대화하면서 마진 분산을 최소화함으로써, 더 균일하게 분포하고 더 높은 마진을 가지는 분류 경계를 도출한다.
• 커널 ODM의 경우, 최적화 문제를 효율적으로 해결하기 위해 이중 좌표 강하법을 제안한다.
• 대규모 선형 ODM의 경우, 확장성을 확보하기 위해 분산 감소를 갖춘 확률적 경량 하강법을 사용한다.
• 행렬 역행렬 계산을 피함으로써 효율성을 향상시키며, 비선형 커널의 경우 尤히 유리하다.
• 이 형식은 일반적이며, SVM이 적용 가능한 모든 상황에 적용 가능하다.

실험 결과

연구 질문

• RQ1 SVM 스타일 학습에서 최소 마진이 아닌 마진 분포를 최적화하는 것이 일반화 성능 향상에 기여하는가?
• RQ2 마진 평균과 분산을 동시에 최적화하는 통합 학습 프레임워크가 기존의 SVM 및 기타 마진 기반 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ3 정규 스케일 및 대규모 데이터셋에서 ODM 방법이 SVM과 최신 기법들에 비해 정확도와 계산 효율성 측면에서 어떻게 비교되는가?
• RQ4 마진 분포는 일반화에 어떤 영향을 미치며, ODM의 평균과 분산 최적화는 이러한 영향에 어떻게 기여하는가?

주요 결과

• 32개의 정규 스케일 데이터셋에서 ODM 및 ODM L은 SVM을 항상 능가하며, 승리/무승부/패배 수를 살펴보면 언제나 열세가 아니며 종종 유의미하게 뛰어나다.
• 10개의 대규모 데이터셋에서 ODM 및 ODM L은 거의 모든 데이터셋에서 최고의 정확도를 기록했으며, 각각 6개, 7개 데이터셋에서 SVM보다 유의미하게 뛰어나다.
• 누적 마진 분포 곡선을 통해 ODM 및 ODM L은 마진 분포 측면에서 SVM보다 뛰어나며, 약간 낮은 최소 마진을 가짐에도 불구하고 더 많은 예측이 더 큰 마진을 확보하고 있음을 보여준다.
• ODM 및 ODM L은 계산 효율성이 뛰어나며, 특히 대규모 데이터에서 빠른 SVM 구현(SVM s)과 비교해 CPU 시간이 유사하거나 약간 높을 뿐이다.
• 이론적 분석을 통해 제안된 최적화 프레임워크의 효과성을 확인하였으며, 새로운 수식은 행렬 역행렬 계산을 피함으로써 비선형 커널의 경우 효율성을 더욱 향상시킨다.