[논문 리뷰] Filtrated Spectral Algebraic Subspace Clustering

Manolis C. Tsakiris, Renè Vidal|arXiv (Cornell University)|2015. 10. 15.

Face and Expression Recognition참고 문헌 24인용 수 6

한 줄 요약

이 논문은 필터레이티드 스펙트럴 대수적 부분공간 군집화(FSASC)라는 새로운 방법을 제안한다. 이 방법은 각 데이터 포인트의 진짜 부분공간를 포함하는 감소하는 부분공간의 수열을 구성하여 강건한 거리 기반 유사도 행렬을 계산한다. 이는 노이즈가 있는, 임의의 차원을 가진 부분공간에서 상태 최고 수준의 희소 및 낮은 질량 방법보다 뛰어난 군집 성능을 달성한다. 특히, 클래스 내 연결성은 높고 클래스 간 연결성은 낮게 유지된다.

ABSTRACT

Algebraic Subspace Clustering (ASC) is a simple and elegant method based on polynomial fitting and differentiation for clustering noiseless data drawn from an arbitrary union of subspaces. In practice, however, ASC is limited to equi-dimensional subspaces because the estimation of the subspace dimension via algebraic methods is sensitive to noise. This paper proposes a new ASC algorithm that can handle noisy data drawn from subspaces of arbitrary dimensions. The key ideas are (1) to construct, at each point, a decreasing sequence of subspaces containing the subspace passing through that point; (2) to use the distances from any other point to each subspace in the sequence to construct a subspace clustering affinity, which is superior to alternative affinities both in theory and in practice. Experiments on the Hopkins 155 dataset demonstrate the superiority of the proposed method with respect to sparse and low rank subspace clustering methods.

연구 동기 및 목표

• 대부분의 부분공간이 노이즈가 있고 차원이 다를 수 있는 상황에서 대수적 부분공간 군집화(ASC)의 한계를 해결하기 위해.
• 노이즈가 존재하는 상황에서도 높은 클래스 내 연결성과 낮은 클래스 간 연결성을 유지하는 강건한 부분공간 군집화 방법을 개발하기 위해.
• 각도 기반 유사도를 더 나은 거리 기반 유사도로 대체하여 다양한 부분공간 차원에서의 성능을 향상시키기 위해.
• 실제 데이터에서 노이즈와 임의의 부분공간 차원을 고려한 대수적 부분공간 군집화의 적용 범위를 넓히기 위해.
• 희소 및 낮은 질량 부분공간 군집화 방법에 대한 이론적으로 탄탄하고 노이즈에 강건한 대안을 제공하기 위해.

제안 방법

• 각 데이터 포인트(기준점)에 대해, 해당 포인트와 관련된 진짜 부분공간를 포함하는 감소하는 부분공간의 수열인 필터레이션을 구성한다.
• 필터레이션의 각 단계에서, 다른 모든 포인트들을 현재 부분공간에 투영하고, 투영된 벡터의 ℓ2 노름을 유사도 측정치로 사용한다.
• 투영된 거리의 수열을 이용해 새로운 거리 기반 유사도 행렬을 정의하며, 이는 부분공간 내 관계를 강조한다.
• 결과로 얻어진 유사도 행렬에 스펙트럴 군집화를 적용하여 최종 군집 결과를 도출한다.
• 감도와 노이즈에 대한 강건성 간의 트레이드오프를 제어할 수 있는 매개변수화된 필터링 과정을 도입한다.
• GPCA/ASC에서 각도 기반 유사도를 거리 기반 대안으로 대체하여 다양한 차원의 부분공간에서의 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 필터레이션 기반 접근법이 임의의 차원을 가진 부분공간에서 노이즈에 강건한 대수적 부분공간 군집화의 성능을 향상시킬 수 있는가?
• RQ2 연속적인 투영에서 유도된 거리 기반 유사도가 혼합 차원 부분공간 군집화에서 각도 기반 유사도보다 우월한가?
• RQ3 제안된 방법이 최신의 희소 및 낮은 질량 방법보다 더 높은 클래스 내 연결성과 낮은 클래스 간 연결성을 달성할 수 있는가?
• RQ4 노이즈와 고차원 투영 조건에서 Hopkins155 및 MNIST와 같은 실제 데이터셋에서 이 방법의 성능은 어떠한가?
• RQ5 제안된 필터레이션 프레임워크에서 군집 정확도와 계산 복잡도 사이의 트레이드오프는 어떠한가?

주요 결과

• Hopkins155 데이터셋에서, FSASC는 모든 운동에 대해 평균 군집 오차 1.18%를 기록했으며, 동일한 설정에서 SSC-raw(2.18%), LRR(5.05%), LSR(4.54%)를 모두 능가했다.
• 두 자릿수 MNIST 군집화에서, FSASC는 (1,0) 쌍에서 평균 오차 0.50%를 기록했고, (1,5) 쌍에서는 1.11%를 기록했으며, SASC-D와 SSC-raw를 크게 앞서나갔다.
• FSASC는 Hopkins155에서의 클래스 간 연결성을 5%로 줄였고, SSC-raw는 31%, SASC-D는 46%였으며, 이는 더 강력한 군집 분리 능력을 시사한다.
• FSASC는 Hopkins155에서 높은 클래스 내 연결성(16%)을 유지하여 부분공간 내 밀집도가 높다는 것을 보여주었다.
• FSASC는 SASC-D에 비해 큰 폭으로 슈퍼리어한 성능을 보였다(예: 2운동 케이스에서 오차 0.80% 대비 5.65%), 이는 필터레이션과 거리 기반 유사도 설계의 우수성을 확인한다.
• 높은 계산 비용에도 불구하고, FSASC는 784차원 MNIST 데이터를 13차원으로 투영한 후에도 효과적으로 기능했지만, 더 높은 차원에서는 부분공간 간 분리도가 감소해 성능이 저하되었다.