[논문 리뷰] Provable Self-Representation Based Outlier Detection in a Union of Subspaces

Chong You, Daniel P. Robinson외 1명|arXiv (Cornell University)|2017. 04. 12.

Anomaly Detection Techniques and Applications참고 문헌 11인용 수 11

한 줄 요약

이 논문은 표현 계수로부터 방향성 그래프를 구성하고 랜덤 워크를 사용하여 부분공간의 합집합에서 희소 자기표현을 활용함으로써, 새로운 이상치 탐지 방법인 R-graph를 제안한다. 이 방법은 기하학적 및 연결성 가정 하에 이상치를 증명 가능하게 탐지하며, 고차원 데이터에서 다중 부분공간 설정에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

Many computer vision tasks involve processing large amounts of data contaminated by outliers, which need to be detected and rejected. While outlier detection methods based on robust statistics have existed for decades, only recently have methods based on sparse and low-rank representation been developed along with guarantees of correct outlier detection when the inliers lie in one or more low-dimensional subspaces. This paper proposes a new outlier detection method that combines tools from sparse representation with random walks on a graph. By exploiting the property that data points can be expressed as sparse linear combinations of each other, we obtain an asymmetric affinity matrix among data points, which we use to construct a weighted directed graph. By defining a suitable Markov Chain from this graph, we establish a connection between inliers/outliers and essential/inessential states of the Markov chain, which allows us to detect outliers by using random walks. We provide a theoretical analysis that justifies the correctness of our method under geometric and connectivity assumptions. Experimental results on image databases demonstrate its superiority with respect to state-of-the-art sparse and low-rank outlier detection methods.

연구 동기 및 목표

• 고차원 데이터에서 이방성들이 부분공간의 합집합에 존재하는 경우의 이상치 탐지 과제를 해결하기 위해.
• 단일 저질서 부분공간을 가정하거나 높은 계산 비용을 수반하는 볼록 최적화에 의존하는 기존 방법의 한계를 극복하기 위해.
• 이론적으로 탄탄하고 효율적인 이상치 탐지 방법을 개발하여 자기표현과 그래프 기반 랜덤 워크를 활용하기 위해.
• 실제 데이터셋인 Extended Yale B와 같은 환경에서 이상치 비율의 변동과 조명 변화에 대해 강건성을 확보하기 위해.

제안 방법

• ℓ₁-최소화를 통해 확보된 희소 표현 계수를 사용하여 비대칭 유사도 행렬을 구성하여, 각 데이터 포인트가 다른 포인트들의 희소 선형 조합으로 표현되도록 보장한다.
• 표현 행렬에서 가중치가 부여된 방향성 그래프를 구축하며, 간선은 포인트 간 자기표현의 강도를 반영한다.
• 그래프 상에 마르코프 체인을 정의하여, 이방성들을 필수 상태로, 이상치를 비필수 상태로 모델링함으로써 랜덤 워크 수렴을 통한 확률적 이상치 탐지 가능하게 한다.
• 랜덤 워크 수렴을 이용해 이상치를 식별함: 방문 확률이 낮은 포인트는 이상치로 간주하며, 그래프의 구조적 연결성을 활용한다.
• 정규화 계수 γ를 스케일링하기 위해 매개변수 α를 사용하여 다양한 데이터 조건에서 안정적이고 강건한 표현 계산을 보장한다.
• 각 데이터 포인트별로 대각선을 0으로 설정한 ℓ₁-정규화된 최소 제곱법을 사용하여 자기표현 문제를 해결한다.

실험 결과

연구 질문

• RQ1 부분공간의 합집합에서 자기표현을 활용하여 증명 가능성이 있는 이상치 탐지 방법을 설계할 수 있는가?
• RQ2 희소 표현 그래프의 연결성 구조는 이방성과 이상치의 구분과 어떻게 관련되는가?
• RQ3 희소 표현에서 유도된 방향성 그래프 상에서의 랜덤 워크는 다중 부분공간 데이터에서 이상치를 효과적으로 탐지할 수 있는가?
• RQ4 기존 최신 기술 대비, 다양한 이상치 비율과 기하학적 조건 하에서 이 방법의 성능은 어떠한가?

주요 결과

• Extended Yale B 데이터셋에서 15% 이상치와 3개의 이방성 그룹 조건에서 R-graph는 비교된 모든 방법들 중 최고의 AUC 및 F1 스코어를 기록한다.
• 이상치 비율이 1%에서 15%까지 변동하더라도 성능이 안정적으로 유지되어, 오염 수준의 변화에 강건함을 입증한다.
• R-graph는 오직 표현 크기만을 고려하는 ℓ₁-임계치 방법보다 뚜렷이 뛰어난 성능을 보이며, 오염에 민감한 점을 보완한다.
• 시각화 결과 R-graph는 극단적인 조명 조건에서도 이방성에서의 오진 탐지 수를 줄이며, 훨씬 뛰어난 강건성을 보임을 시사한다.
• 희소 표현과 효율적인 랜덤 워크 단계 덕분에 REAPER, OutlierPursuit 및 LRR보다 더 빠른 수렴 속도와 낮은 계산 비용을 기록한다.
• 이론적 분석을 통해 마르코프 체인에서 이방성은 필수 상태, 이상치는 비필수 상태로 대응됨을 확인하여, 기하학적 및 연결성 가정 하에 방법의 정당성이 뒷받침됨을 확인한다.