[논문 리뷰] Efficient Sparse Subspace Clustering by Nearest Neighbour Filtering

Stephen Tierney, Yi Guo외 1명|arXiv (Cornell University)|2017. 04. 13.

Face and Expression Recognition참고 문헌 47인용 수 7

한 줄 요약

이 논문은 데이터 포인트를 k-최근접 이웃(k-NN)을 사용해 사전 필터링한 후 SSC(Sparse Subspace Clustering)를 적용함으로써 O(N²) 메모리 및 계산 복잡도를 O(N)으로 감소시키는 확장 가능한 근사 방법인 k-SSC를 제안한다. 이 방법은 클러스터링 정확도를 유지하면서도 효율성을 크게 향상시켜 고체적, 실세계 데이터셋(고스펙트럴, 동작 분할, 얼굴 클러스터링 작업 포함)에서 기존 근사 방법들을 능가한다.

ABSTRACT

Sparse Subspace Clustering (SSC) has been used extensively for subspace identification tasks due to its theoretical guarantees and relative ease of implementation. However SSC has quadratic computation and memory requirements with respect to the number of input data points. This burden has prohibited SSCs use for all but the smallest datasets. To overcome this we propose a new method, k-SSC, that screens out a large number of data points to both reduce SSC to linear memory and computational requirements. We provide theoretical analysis for the bounds of success for k-SSC. Our experiments show that k-SSC exceeds theoretical expectations and outperforms existing SSC approximations by maintaining the classification performance of SSC. Furthermore in the spirit of reproducible research we have publicly released the source code for k-SSC

연구 동기 및 목표

• 데이터 크기에 따라 제곱적으로 증가하는 계산 및 메모리 오버헤드로 인해 대규모 데이터셋에서의 사용이 제한되는 Sparse Subspace Clustering(SSC)의 문제를 해결한다.
• 이론적 보장과 클러스터링 성능를 유지하면서 자원 요구량을 극적으로 줄이는 SSC의 확장 가능한 근사 방법을 개발한다.
• 고스펙트럴 영상, 동작 분할, 고차원 얼굴 데이터와 같은 대규모 데이터셋에 대한 SSC의 실용적 구현을 가능하게 한다.
• 노이즈 및 샘플링 조건 하에서 k-SSC 방법의 성공에 대한 이론적 경계를 제공한다.
• k-SSC의 소스 코드를 공개하여 재현 가능성을 확보하고 커뮤니티의 도입을 지원한다.

제안 방법

• 각 샘플에 대해 가장 관련성이 높은 데이터 포인트만 사전에 선택하기 위해 k-최근접 이웃(k-NN) 필터링을 적용하여 희소 표현을 위한 후보 집합을 축소한다.
• k-NN 이웃들만을 사용하여 축소된 유사도 행렬을 구성함으로써 계수 행렬 Z의 크기를 O(N²)에서 O(N)으로 제한한다.
• 필터링된 데이터에 표준 SSC 최적화를 적용한다: λ‖Z‖₁ + ½‖X - XZ‖²_F 를 최소화하고, diag(Z) = 0 조건을 만족한다. 여기서 Z는 크기가 N×k인 희소 행렬이 된다.
• 최종 유사도 행렬에 스펙트럴 클러스터링을 적용하여 부분공간 레이블을 할당함으로써 SSC의 클러스터링 파이프라인을 유지한다.
• 이론적 분석을 통해 샘플링이 충분하고 노이즈가 유한할 경우 k-SSC는 SSC와 동일한 부분공간 식별 성능를 달성할 수 있음을 보여준다.
• k-NN 필터링 단계는 먼 거리에 있는, 잠재적으로 오도를 일으킬 수 있는 포인트들을 제거함으로써 노이즈 감소 메커니즘이 된다.

실험 결과

연구 질문

• RQ1 k-NN 필터링 전략은 클러스터링 정확도를 훼손하지 않으면서도 SSC의 계산 및 메모리 복잡도를 O(N²)에서 O(N)으로 효과적으로 감소시킬 수 있는가?
• RQ2 k-SSC는 어떤 이론적 조건 하에서 SSC와 동일한 부분공간 식별 성능를 유지하는가?
• RQ3 대규모 데이터셋에서 기존 SSC 근사 방법들(TSC, SSSC, GSC 등)과 비교해 k-SSC의 클러스터링 정확도 및 런타임 성능는 어떠한가?
• RQ4 k-SSC의 강력한 필터링 전략은 그림자 등 실세계 데이터(예: 그림자 있는 얼굴 이미지)에서의 노이즈 및 막힘에 대해 강건성을 향상시키는가?
• RQ5 k-SSC는 고스펙트럴, 동작, 얼굴 클러스터링 작업과 같은 다양한 유형의 데이터에서 높은 성능를 유지할 수 있는가?

주요 결과

• k-SSC는 메모리 및 계산 요구량을 O(N²)에서 O(N)으로 감소시켜 대규모 데이터셋의 효율적 처리를 가능하게 한다.
• 반-합성 고스펙트럴 TIR 데이터셋에서 k-SSC는 SSC 성능을 거의 그대로 유지하며, 평균, 중앙, 최대, 최소 오차 지표에서 모든 다른 근사 방법들을 능가한다.
• 대규모 열화상 분할 실험에서 k-SSC의 런타임은 TSC 및 SSSC와 유사하게 스케일링되며, 높은 정확도를 유지한다.
• Hopkins 155 동작 분할 데이터셋에서 k-SSC는 PSNR가 감소함에 따라 SSC 성능을 그대로 유지하며 노이즈에 대한 강건성을 보여준다.
• 확장된 Yale B 얼굴 데이터셋에서 k-SSC는 평균 오차 22.3%를 기록하여 SSC(28.1%) 및 모든 다른 근사 방법들을 능가한다. 이는 k-NN를 통한 효과적인 노이즈 필터링 덕분으로 보인다.
• k-SSC의 소스 코드는 GitHub에 공개되어 있어 재현 가능한 연구 및 커뮤니티의 도입을 지원한다.