[논문 리뷰] Discriminative Clustering with Relative Constraints

Yuanli Pei, Xiaoli Z. Fern외 2명|arXiv (Cornell University)|2014. 12. 30.

Advanced Clustering Algorithms Research참고 문헌 26인용 수 6

한 줄 요약

이 논문은 상대적 제약 조건—즉, $x_i$ 가 $x_j$ 보다 $x_k$ 와 더 유사한지 여쭤보는 질문—을 활용하는 분류적 군집화 방법인 DCRC를 제안한다. 이 제약 조건은 '모르겠다'(dnk) 응답을 포함하여 더 높은 내성성을 확보한다. 인스턴스, 군집 소속, 제약 조건 간의 확률적 관계를 모델링함으로써 DCRC는 군집 간 분리와 균형을 강제하면서도 가능도를 최대화하여, 합성 데이터와 인간 레이블이 부여된 노이즈 있는 제약 조건 모두에서 최신 기법들보다 뛰어난 F-측정치와 노이즈에 대한 내성을 보인다.

ABSTRACT

We study the problem of clustering with relative constraints, where each constraint specifies relative similarities among instances. In particular, each constraint $(x_i, x_j, x_k)$ is acquired by posing a query: is instance $x_i$ more similar to $x_j$ than to $x_k$? We consider the scenario where answers to such queries are based on an underlying (but unknown) class concept, which we aim to discover via clustering. Different from most existing methods that only consider constraints derived from yes and no answers, we also incorporate don't know responses. We introduce a Discriminative Clustering method with Relative Constraints (DCRC) which assumes a natural probabilistic relationship between instances, their underlying cluster memberships, and the observed constraints. The objective is to maximize the model likelihood given the constraints, and in the meantime enforce cluster separation and cluster balance by also making use of the unlabeled instances. We evaluated the proposed method using constraints generated from ground-truth class labels, and from (noisy) human judgments from a user study. Experimental results demonstrate: 1) the usefulness of relative constraints, in particular when don't know answers are considered; 2) the improved performance of the proposed method over state-of-the-art methods that utilize either relative or pairwise constraints; and 3) the robustness of our method in the presence of noisy constraints, such as those provided by human judgement.

연구 동기 및 목표

• 기존 군집화 방법이 상대적 유사성 질문에 대해 예/아니오 응답만 처리할 수 있는 한계를 해결하고자 하며, 특히 사용자가 비교를 확신하지 못할 수 있는 실제 환경에서의 적용을 고려한다.
• 잠재 군집 소속과 관측된 상대적 제약 조건(‘모르겠다’(dnk) 응답 포함) 간의 확률적 관계를 모델링하여 군집 정확도를 향상시키고자 한다.
• 비라벨 데이터를 활용하여 관측된 제약 조건의 가능도를 동시에 최대화하고 군집 간 분리 및 균형을 강제함으로써 군집화 성능을 향상시키고자 한다.
• 특히 인간 판단에서 비롯된 노이즈가 많은 제약 조건에 대한 방법의 내성성을 평가하고자 한다. 이는 실용적 응용에서 흔한 문제이다.

제안 방법

• DCRC는 세 인스턴스의 잠재 군집 소속을 기반으로 상대적 제약 조건 $(x_i, x_j, x_k)$ 가 '예'(즉, $x_i$ 가 $x_j$ 보다 $x_k$ 와 더 유사함)로 응답될 가능도를 모델링한다.
• 이 방법은 생성적 확률적 프레임워크를 사용하며, 소프트 군집 할당 하에 관측된 제약 조건의 가능도를 최대화한다. 이는 라벨이 부여된 데이터와 라벨이 없는 데이터를 모두 포함한다.
• 노이즈 모델을 도입하여 '모르겠다'(dnk) 응답을 간과하는 것이 아니라 유의미한 정보로 간주하고, 군집 간 가까이 있을수록 그 가능도를 모델링한다.
• 군집 간 분리와 균형은 비용 함수에 정규화를 적용하여 강제하며, 반면에 반응성 있는 학습 원리에 기반하여 비라벨 데이터의 엔트로피를 최소화하고 군집 간 마진을 최대화한다.
• 최적화는 EM 유사 알고리즘을 사용하여 군집 할당 추정과 모델 파라미터 갱신을 번갈아 수행함으로써 제약 가능도를 최대화한다.
• 모델은 지식 기반 제약 조건과 제어된 노이즈가 있는 인간 레이블 기반 제약 조건을 모두 사용하여 평가되며, 불확실성을 모델링하기 위해 $\epsilon = 0.15$ 를 사용한다.

실험 결과

연구 질문

• RQ1 상대적 제약 조건에 '모르겠다'(dnk) 응답을 포함시키는 것이 예/아니오 응답만 허용하는 기존 방법보다 군집화 성능을 향상시키는가?
• RQ2 제안된 DCRC 방법은 인간 레이블이 부여된 노이즈 있는 제약 조건 하에서 어떻게 성능을 내는가? 특히 메트릭 학습 기반 또는 쌍별 제약 조건 기반 방법과 비교해 볼 때 어떻게 되는가?
• RQ3 '모르겠다'(dnk) 제약 조건의 포함이 군집화의 내성성과 정확도를 향상시키는 데 의미 있는 정보를 제공하는가?
• RQ4 DCRC 모델의 확률적 공식화가 F-측정치와 노이즈 내성성 측면에서 기존의 분류적 군집화 접근법보다 얼마나 뛰어나게 성능을 내는가?

주요 결과

• DCRC는 상대적 또는 쌍별 제약 조건을 사용하는 최신 기법들보다 뚜렷이 뛰어나며, 150개의 상대적 제약 조건이 있는 합성 데이터에서 F-측정치 0.7412를 기록했고, Xing는 0.6438, ITML은 0.6347을 기록했다.
• 인간 레이블이 부여된 노이즈 있는 제약 조건 하에서도 DCRC는 높은 성능(정확도 0.7021)을 유지하며, 경쟁 기법들이 성능이 저하되는 것을 보여 주어 노이즈에 대한 내성성을 입증했다.
• '모르겠다'(dnk) 제약 조건의 포함이 성능 향상에 기여하며, 결과가 악화되지 않음을 확인하여 dnk 응답이 군집 구조에 대한 유용한 정보를 담고 있음을 시사한다.
• 초기 조건 값에 대한 민감도가 낮아, $\epsilon$ 값이 0.05에서 0.2 사이에서 F-측정치 변화가 0.01 이내로 유지되어 노이즈가 많은 환경에서도 안정성을 확보했다.
• dnk를 포함하지 않은 DCRC-YN 버전조차도 노이즈 있는 제약 조건에서 ITML을 능가하여, 제안된 방법의 설계가 dnk를 사용하지 않더라도 내성성을 향상시킨다는 것을 보여준다.
• 로지스틱 분류기 기반 베이스라인은 제약 조건이 없는 K-means보다도 성능이 열 劣하므로, DCRC의 성능 향상은 분류기 자체의 영향이 아니라 측면 정보를 효과적으로 활용한 결과임을 확인한다.