[논문 리뷰] Hard Clusters Maximize Mutual Information

Bernhard C. Geiger, Rana Ali Amjad|arXiv (Cornell University)|2016. 08. 17.

Complexity and Algorithms in Graphs참고 문헌 9인용 수 3

한 줄 요약

이 논문은 정보이론적 군집화 문제, 특히 정보 버블링과 공군집합에서 하드(결정론적) 군집 할당이 상호정보량을 최대화함을 보여준다. 상호정보량의 볼록성 성질을 활용하여, 저자는 실수값 소프트 군집 최적화가 조합적 하드 군집과 동일한 전역 최적해를 얻음을 증명하며, 이는 이산적 탐색 대신 연속적 방법을 통한 효율적 최적화를 가능하게 한다.

ABSTRACT

In this paper, we investigate mutual information as a cost function for clustering, and show in which cases hard, i.e., deterministic, clusters are optimal. Using convexity properties of mutual information, we show that certain formulations of the information bottleneck problem are solved by hard clusters. Similarly, hard clusters are optimal for the information-theoretic co-clustering problem that deals with simultaneous clustering of two dependent data sets. If both data sets have to be clustered using the same cluster assignment, hard clusters are not optimal in general. We point at interesting and practically relevant special cases of this so-called pairwise clustering problem, for which we can either prove or have evidence that hard clusters are optimal. Our results thus show that one can relax the otherwise combinatorial hard clustering problem to a real-valued optimization problem with the same global optimum.

연구 동기 및 목표

• 상호정보량을 비용 함수로 사용할 때 하드 군집이 최적일 조건을 이해하는 것.
• 특정 공식화 하에 전역 최적해가 동일한 조합적 하드 군집과 연속적 소프트 군집 간 격차를 메우기 위해, 이 둘의 동등성을 보여주는 것.
• 두 데이터 세트가 동일한 군집 할당을 사용해야 하는 쌍체 군집 문제를 분석하여, 하드 군집이 여전히 최적일 조건을 특정하는 것.
• 상호정보량 기반 군집에서 이산 조합 방법 대신 연속 최적화를 사용할 수 있는 이론적 근거를 제공하는 것.
• 일반적으로 최적성이 보장되지 않음에도 불구하고, 실용적인 특수 케이스에서 하드 군집이 최적임을 밝혀내는 것.

제안 방법

• 정보이론적 군집 문제에서 하드 군집의 최적성 분석을 위해 상호정보량의 볼록성 성질을 활용한다.
• 정보 버블링 프레임워크와 공군집합 공식화를 적용하여, 상호정보량 최대화가 결정론적 군집 할당으로 이어짐을 보여준다.
• 특징 벡터를 통해 채널 행렬을 통해 공동분포를 유도하는 확률 모델을 도입하며, 데이터를 잠재변수의 관측값으로 모델링한다.
• 행렬 분해와 채널 모델링(예: 양의 특징 벡터를 가진 그라미안 모델)을 활용하여 공동분포를 P ∝ UΛU† 형태로 표현한다.
• 결정론적 행렬 분해를 사용해 상호정보량의 상한을 유도하고, 이를 소프트 군집 솔루션과 비교한다.
• 공유된 군집 할당을 모델링하여 쌍체 군집 문제를 분석하며, 하드 군집 최적성에 대한 충분조건을 조사한다.

실험 결과

연구 질문

• RQ1 군집 문제에서 상호정보량을 최대화할 때 하드 군집이 최적일 조건은 무엇인가?
• RQ2 조합적 하드 군집 문제는 연속 최적화 문제로 유연화할 수 있으며, 이 경우 전역 최적해가 동일한가?
• RQ3 정보 버블링 및 공군집합 프레임워크에서 상호정보량 최대화는 하드 군집과 동일한가?
• RQ4 두 데이터 세트가 동일한 군집 할당을 사용해야 하는 쌍체 군집 문제에서 하드 군집이 최적인가?
• RQ5 쌍체 군집 문제의 실용적인 특수 케이스 중 하드 군집 솔루션을 허용하는 것은 무엇인가?

주요 결과

• 상호정보량의 볼록성 덕분에 표준 정보 버블링 및 공군집합 문제에서 하드 군집이 최적임을 입증한다.
• 이러한 설정에서 실수값 소프트 군집 최적화의 전역 최적해는 조합적 하드 군집 최적해와 정확히 일치한다.
• 공유된 군집 할당이 있는 쌍체 군집 문제에서는 일반적으로 하드 군집이 최적은 아니지만, 특정 실용적 케이스에서는 최적임을 입증한다.
• 그라미안 모델(양의 특징 벡터를 가진 코사인 유사도 모델)에서는 수치적 증거가 하드 쌍체 군집이 최적임을 시사한다.
• 하드 쌍체 군집 최적성에 대한 충분조건가 유도되었으며, 일반적인 증명은 아직 열려 있으며, (34)와 (35)는 앞으로의 증명 개발에 유망한 길을 제시한다.
• 미래의 증명 개발을 위한 핵심 후보로 상호정보량 식 I(Y₁;Y₂) = I(Z;Y₁) + I(Z;Y₂) − I(Z;Y₁,Y₂) 가 확인되었다.