[논문 리뷰] Achieving stable subspace clustering by post-processing generic clustering results

Duc-Son Pham, Ognjen Arandjelović외 1명|arXiv (Cornell University)|2016. 05. 27.

Face and Expression Recognition참고 문헌 43인용 수 4

한 줄 요약

이 논문은 랜덤으로 샘플링된 안정적인 부분공간을 사용하여 잘못 클러스터링된 점을 식별하고 재할당하여 희소 부분공간 클러스터링(SSC) 결과의 안정성과 정확도를 향상시키는 후처리 방법을 제안한다. 잔차 오차를 계산하고 보수적인 주로 근접한 부분공간 분류 기법을 적용하여, 정확히 할당된 점에 대한 영향을 최소화하면서도 클러스터링 오차를 크게 감소시킨다.

ABSTRACT

We propose an effective subspace selection scheme as a post-processing step to improve results obtained by sparse subspace clustering (SSC). Our method starts by the computation of stable subspaces using a novel random sampling scheme. Thus constructed preliminary subspaces are used to identify the initially incorrectly clustered data points and then to reassign them to more suitable clusters based on their goodness-of-fit to the preliminary model. To improve the robustness of the algorithm, we use a dominant nearest subspace classification scheme that controls the level of sensitivity against reassignment. We demonstrate that our algorithm is convergent and superior to the direct application of a generic alternative such as principal component analysis. On several popular datasets for motion segmentation and face clustering pervasively used in the sparse subspace clustering literature the proposed method is shown to reduce greatly the incidence of clustering errors while introducing negligible disturbance to the data points already correctly clustered.

연구 동기 및 목표

• 실제 데이터셋인 동작 분할 및 얼굴 클러스터링과 같은 분야에서 희소 부분공간 클러스터링(SSC)의 강인성과 정확도를 향상시키기.
• 기본 또는 최적화되지 않은 하이퍼파라미터로 인한 파라미터 민감성과 비최적의 클러스터링 결과 문제를 해결하기.
• 기존 알고리즘의 핵심을 변경하지 않고도 클러스터링 성능을 향상시킬 수 있는 일반적이고 응용에 특화되지 않은 후처리 기법 개발하기.
• 안정적인 부분공간 추정 및 잔차 기반 평가 프레임워크를 통해 잘못된 재할당 오차를 최소화하면서 잘못 클러스터링된 점을 수정하기.

제안 방법

• 노이즈 및 이방성에 강건한 임의의 데이터 포인트 샘플링을 통해 각 초기 클러스터에 대해 안정적인 부분공간을 구성하기.
• ℓp 노름을 사용하여 각 데이터 포인트와 초기 부분공간 간의 잔차 오차를 계산하여 적합도 평가하기.
• 보수적인 임계값을 사용하여 과도한 수정을 방지하는 보수적인 주로 근접한 부분공간 분류 전략을 적용하여 재할당 결정하기.
• 정규화 및 안정성 선택 원칙을 적용하여 부분공간 추정을 향상시키고 초기화에 대한 민감도를 감소시키기.
• 모든 SSC 변종 후에 후처리 단계로 통합하여 원래 클러스터링 파이프라인에 대한 수정이 필요 없도록 하기.
• 하이퍼파rameter η를 통해 재할당 민감도를 제어하며, 보수적인 설정은 보다 신뢰성 높은 수정을 우선시한다.

실험 결과

연구 질문

• RQ1 핵심 알고리즘을 수정하지 않고도 후처리 방법이 희소 부분공간 클러스터링의 클러스터링 정확도를 향상시킬 수 있는가?
• RQ2 임의의 샘플링을 통한 안정적인 부분공간 추정은 잘못 클러스터링된 데이터 포인트를 식별하고 수정하는 데 얼마나 효과적인가?
• RQ3 기본 SSC 및 오라클 기반 부분공간 지식과 비교했을 때 제안된 방법은 클러스터링 오차를 어느 정도 감소시키는가?
• RQ4 보수적인 주로 근접한 부분공간 분류 전략은 과도한 수정을 방지하고 안정성을 유지하는 데 어떻게 기여하는가?
• RQ5 다양한 데이터셋, 예를 들어 동작 분할 및 얼굴 클러스터링에서 클래스 수가 다양할 경우에도 이 방법은 일반화 가능한가?

주요 결과

• Hopkins 155 동작 분할 데이터셋에서 제안된 방법은 클러스터링 오차를 크게 감소시켜 오라클 부분공간 지식의 성능 한계에 가까워진다.
• Yale B 데이터셋에서 2개의 클래스에 대해 오차는 SSC의 6.25%에서 SSS의 4.69%로 감소하였고, 3개의 클래스에선 8.33%에서 5.63%로 감소하였다.
• PIE 데이터셋에서 2개의 클래스에 대해 오차는 SSC의 2.50%에서 SSS의 2.50%로 그대로 유지되었는데, 이는 이미 높은 초기 정확도를 보였기 때문에 보수적인 동작을 나타낸다.
• Yale B에서 8개의 클래스에 대해선 128개 중 4개의 점을 수정하여 오차를 5.66%에서 4.88%로 감소시켰으며, 이는 높은 클래스 수에서도 효과적임을 보여준다.
• 안정적인 부분공간 선택(SSS)이 수행한 재할당 수는 오라클 부분공간 방법(OSS)과 일관되게 유사하여 높은 효율성을 보였다.
• NMI(정규화된 상호정보량)는 유지되며, SSS는 Yale B(8개 클래스)에서 0.9059 NMI를 기록하여 SSC의 0.8866보다 높은 수준을 보이며 더 나은 클러스터링 품질을 나타냈다.