[논문 리뷰] Using SVDD in SimpleMKL for 3D-Shapes Filtering

Gaëlle Loosli, Hattoibe Aboubacar|arXiv (Cornell University)|2017. 12. 07.

Anomaly Detection Techniques and Applications참고 문헌 10인용 수 3

한 줄 요약

이 논문은 3D-형상 필터링 및 이상치 탐지에 대해 SimpleMKL 프레임워크 내에서 서포트 벡터 데이터 기술(SVDD)의 새로운 확장인 MK-SVDD 및 Slim-MK-SVDD를 제안한다. 더 좁은 결정 경계를 선호하기 위한 새로운 페널티 항을 통합함으로써, Slim-MK-SVDD 버전은 표준 SVDD 및 One-Class SVM보다도 지도 및 비지도 설정 모두에서 성능을 향상시켰으며, 특히 적은 수의 양성 예제를 가진 유사한 3D 형상 클래스를 구분하는 데서 두드러진 성능을 보였다.

ABSTRACT

This paper proposes the adaptation of Support Vector Data Description (SVDD) to the multiple kernel case (MK-SVDD), based on SimpleMKL. It also introduces a variant called Slim-MK-SVDD that is able to produce a tighter frontier around the data. For the sake of comparison, the equivalent methods are also developed for One-Class SVM, known to be very similar to SVDD for certain shapes of kernels. Those algorithms are illustrated in the context of 3D-shapes filtering and outliers detection. For the 3D-shapes problem, the objective is to be able to select a sub-category of 3D-shapes, each sub-category being learned with our algorithm in order to create a filter. For outliers detection, we apply the proposed algorithms for unsupervised outliers detection as well as for the supervised case.

연구 동기 및 목표

• 목표 형상 클래스의 소수의 양성 예제만을 사용하여 3D-형상을 필터링하는 문제에 대응하기 위해.
• 일반화 및 유연성을 향상시키기 위해 SimpleMKL 알고리즘을 사용해 SVDD를 다중 커널 학습(MKL) 프레임워크에 적응시키기 위해.
• 과적합을 줄이고 유사한 클래스로부터의 분리 성능를 향상시키기 위해, 기존의 결정 경계보다 더 타이트한 경계를 확보하기 위한 새로운 페널티 항을 통한 방법 개발을 위해.
• 제안된 방법들을 3D-형상 데이터셋에서 지도 및 비지도 이상치 탐지 시나리오 모두에서 평가하기 위해.

제안 방법

• 모든 양성 학습 예제를 포함하는 가장 작은 구를 보장하기 위해, 커널을 볼록 가중치로 조합하는 원 문제 최적화 문제를 설정함으로써, SVDD를 다중 커널 설정에 적응시킴.
• 라그랑주 승수를 사용한 리프레젠테이션과 KKT 조건을 활용해 MK-SVDD의 이중 문제를 유도함으로써, 단순MKL 프레임워크 내에서 기울기 기반 최적화 솔버를 통해 최적화 가능하게 함.
• 단일 지원 벡터에 의존하는 해를 억제하고 더 타이트한 결정 경계를 촉진하기 위해, SimpleMKL 목표 함수에 새로운 페널티 항을 추가함으로써 Slim-MK-SVDD를 도입함.
• 가우시안 커널과 다항식 커널을 다중 커널 조합에 사용하며, 단체 조건 하에 기울기 하강법을 통해 커널 가중치를 학습함.
• 커널 방법에 적합한 고차원 특징 공간에서 형상 데이터를 표현하기 위해, 확장된 리브 그래프를 3D-형상 기술자로 활용함.
• 여러 3D-형상 필터링 및 이상치 탐지 작업에서 표준 SVDD, One-Class SVM, MK-OCSVM과의 비교를 통해 MK-SVDD 및 Slim-MK-SVDD를 평가함.

실험 결과

연구 질문

• RQ1 SimpleMKL 알고리즘을 사용해 SVDD를 다중 커널 학습(MKL) 프레임워크로 효과적으로 확장할 수 있는가?
• RQ2 제안된 Slim-MK-SVDD 버전이 3D-형상 분류 작업에서 표준 MK-SVDD 및 MK-OCSVM보다 더 타이트한 결정 경계를 생성하는가?
• RQ3 소수의 양성 예제만 제공될 경우, MK-SVDD 및 Slim-MK-SVDD는 목표 3D-형상 클래스를 유사한 클래스들로부터 효과적으로 구분하는가?
• RQ4 제안된 방법들은 양성 학습 예제만을 사용해도 지도 및 비지도 설정 모두에서 이상치를 효과적으로 탐지할 수 있는가?

주요 결과

• Slim-MK-SVDD는 목표 3D 형상 클래스를 유사한 클래스로부터 구분하는 데 평균 AUC 0.945를 달성하여, 동일한 작업에서 MK-OCSVM(AUC 0.64) 및 MK-SVDD(AUC 0.94)를 뚜렷이 앞서는 성능을 보였다.
• 모든 다른 클래스에서 목표 클래스를 필터링하는 작업에서, Slim-MK-SVDD는 평균 AUC 0.90을 기록했으며, 첫 번째 양성 예제가 평균적으로 순위 7.5에 나타나, 빠른 조기 탐지 능력을 보였다.
• 가장 도전적인 케이스(클래스 11)에서, Slim-MK-SVDD는 AUC 0.93를 기록했고, 첫 번째 목표 예제가 순위 8.7에 위치했으며, MK-OCSVM(AUC 0.93이지만 첫 번째 목표 예제 순위 128.1)를 능가하는 성능를 보였다.
• Slim-MK-SVDD는 클래스 1에서 첫 번째 목표 예제의 평균 순위를 MK-SVDD의 13.5에서 2.6으로 감소시켜, 유사한 클래스들로부터의 분리 성능가 향상된 것으로 나타났다.
• 이상치 탐지에서, Slim-MK-SVDD는 지도 설정에서 20%의 승리 비율을 기록했으며, 무작위(33%)보다 뚜렷이 높고, MK-OCSVM(0% 승리 비율)를 능가하는 성능를 보였다.
• Slim-MK-SVDD에 도입된 새로운 페널티 항은, 유사한 형상 클래스를 구분하는 데서 표준 MK-SVDD 대비 평균적으로 AUC 15% 향상시켰다.