[논문 리뷰] Semi-Supervised Active Clustering with Weak Oracles

Taewan Kim, Joydeep Ghosh|arXiv (Cornell University)|2017. 09. 11.

Advanced Clustering Algorithms Research참고 문헌 8인용 수 4

한 줄 요약

이 논문은 약한 오라클—불확실성으로 인해 쌍별 '같은 클러스터' 질의에 응답을 회피할 수 있는 도메인 전문가—를 다루는 준지도형 활동 클러스터링 프레임워크를 제안한다. 무작위 및 거리 기반 약한 오라클 행동을 모델링함으로써, 저항성 질의 복잡도와 높은 클러스터링 정확도를 유지를 위해 $\gamma$-마진 조건과 클러스터 중심 근처의 점 존재 조건 하에서 효과적인 클러스터링을 달성하며, 클러스터 마진이 좁을 경우에 특히 질의 수를 크게 줄일 수 있다.

ABSTRACT

Semi-supervised active clustering (SSAC) utilizes the knowledge of a domain expert to cluster data points by interactively making pairwise "same-cluster" queries. However, it is impractical to ask human oracles to answer every pairwise query. In this paper, we study the influence of allowing "not-sure" answers from a weak oracle and propose algorithms to efficiently handle uncertainties. Different types of model assumptions are analyzed to cover realistic scenarios of oracle abstraction. In the first model, random-weak oracle, an oracle randomly abstains with a certain probability. We also proposed two distance-weak oracle models which simulate the case of getting confused based on the distance between two points in a pairwise query. For each weak oracle model, we show that a small query complexity is adequate for the effective $k$ means clustering with high probability. Sufficient conditions for the guarantee include a $γ$-margin property of the data, and an existence of a point close to each cluster center. Furthermore, we provide a sample complexity with a reduced effect of the cluster's margin and only a logarithmic dependency on the data dimension. Our results allow significantly less number of same-cluster queries if the margin of the clusters is tight, i.e. $γ\approx 1$. Experimental results on synthetic data show the effective performance of our approach in overcoming uncertainties.

연구 동기 및 목표

• 인간 전문가의 완벽한 응답을 요구하는 것이 비현실적이므로 '모르겠다' 응답을 허용함으로써 활동 클러스터링의 실현 가능성을 높이기 위해.
• 무작위 회피와 점 간 거리 기반 혼동을 포함한 현실적인 약한 오라클 행동을 모델링하기 위해.
• 오라클 응답의 불확실성에도 불구하고 낮은 질의 복잡도와 높은 클러스터링 정확도를 유지하기 위해.
• 최소한의 가정, 예를 들어 $\gamma$-마진 성질과 클러스터 중심에 가까운 점 존재 조건 하에서 진짜 클러스터링의 고확률 복구를 보장하기 위해.
• 완벽하지 않은 불확실한 지도 정보를 효율적으로 활용하면서도 확률적 복구 보장을 유지할 수 있도록 SSAC 프레임워크를 확장하기 위해.

제안 방법

• 무작위-약한(고정 확률로 응답을 기피하는) 및 거리-약한(클러스터 내 또는 클러스터 간 점 간 거리 기반으로 응답을 기피하는) 두 가지 약한 오라클 모델을 도입한다.
• '모르겠다' 응답을 처리하기 위해 수정된 이진 탐색을 사용하여 SSAC 알고리즘의 이중 단계 구조—클러스터 중심 추정 및 반경 추정—를 적응시킨다.
• $\gamma$-마진과 데이터 차원에 따라 질의 복잡도의 경계를 유도하기 위해 행렬 농도 부등식을 활용한다.
• 반경 추정에서의 불확실성을 해결하기 위해 각 클러스터 중심에 가까운 점의 존재를 핵심 가정으로 삼는다.
• 확률적 분석을 적용하여 약한 지도 하에서 오라클의 진짜 클러스터링을 고확률로 복구할 수 있도록 보장한다.
• 두 단계의 결과를 통합하여 전체 알고리즘 성공에 대한 통합된 확률적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 오라클이 명확한 '예/아니오' 응답 대신 '모르겠다' 응답을 제공할 경우 준지도형 활동 클러스터링이 여전히 효과적으로 작동할 수 있는가?
• RQ2 오라클 응답의 무작위성 또는 거리 기반 불확실성이 질의 복잡도와 클러스터링 정확도에 어떤 영향을 미치는가?
• RQ3 약한 지도 하에서 진짜 클러스터링의 고확률 복구를 보장하기 위해 필요한 최소한의 가정은 무엇인가?
• RQ4 $\gamma$-마진 성질이 약한 오라클을 사용할 때 정확한 클러스터링을 위해 필요한 질의 수에 어떤 영향을 미치는가?
• RQ5 클러스터 중심 근처의 점 존재 여부가 약한 오라클 모델 하에서 반경 추정의 불확실성을 어떻게 완화할 수 있는가?

주요 결과

• 제안된 알고리즘이 $\gamma$-마진이 좁을 경우(즉, $\gamma \approx 1$)에 매우 낮은 질의 복잡도로 높은 클러스터링 정확도를 달성한다.
• 무작위-약한 오라클 모델의 경우, 증가한 샘플링 및 질의 크기로 고확률로 클러스터 중심과 반경을 성공적으로 근사할 수 있다.
• 거리-약한 오라클의 경우, 각 클러스터 중심에 가까운 점이 하나 이상 존재하면 오라클의 클러스터링을 신뢰성 있게 복구할 수 있다.
• 샘플 복잡도는 데이터 차원에 대해 로그적으로 의존하며, 중심에 가까운 점이 확보된 경우 클러스터 마진에 덜 민감하다.
• 실험 결과, $\gamma \in [1.0, 1.1]$ 범위에서는 정확도가 최대 99.99%에 이르며, 겹침 클러스터($\gamma_{\min} = 0.6$) 조건에서도 실패율이 낮다. $\eta = 50$일 때 정확도가 99% 이상을 기록한다.
• 비분리 가능한 경우($\gamma_{\min} = 0.6$)에도 정확도는 98% 이상 유지되며, 클러스터 겹침이 있음에도 실패율은 낮다.