[논문 리뷰] On Clustering Incomplete Data

Eduard Eiben, Robert Ganian외 3명|arXiv (Cornell University)|2019. 11. 04.

Topological and Geometric Data Analysis참고 문헌 53인용 수 5

한 줄 요약

이 논문은 누락된 항목을 보완하여 k개의 클러스터를 형성하고 반경 또는 지름이 최대 r가 되도록 하는, 비완전 부울 데이터에 대한 매개변수화된 복잡도 프레임워크를 제안한다. 문제의 고정-매개변수 복잡도가 k, r, 그리고 누락된 항목을 커버하는 최소 행과 열의 수를 함께 매개변수화할 경우에 대해 고정-매개변수 복잡도가 성립함을 입증하며, 이들 매개변수 중 어느 하나라도 제거할 경우 비결정성으로 이어짐을 보이며, 누락된 데이터를 가진 클러스터링 문제에 대한 열린 질문을 해결한다.

ABSTRACT

We study fundamental clustering problems for incomplete data. In this setting, we are given a set of incomplete d-dimensional Boolean vectors (representing the rows of a matrix), and the goal is to complete the missing vector entries so that the set of complete vectors admits a partitioning into at most k clusters with radius or diameter at most r. We develop a toolkit and use it to give tight characterizations of the parameterized complexity of these problems with respect to the parameters k, r, and the minimum number of rows and columns needed to cover all the missing entries. We show that the aforementioned problems are fixed-parameter tractable when parameterized by the three parameters combined, and that dropping any of these three parameters results in parameterized intractability. We extend this toolkit to settle the parameterized complexity of other clustering problems, answering an open question along the way. We also show how our results can be extended to data over any constant-size domain. A byproduct of our results is that, for the complete data setting, all problems under consideration are fixed-parameter tractable parameterized by k+r.

연구 동기 및 목표

• 누락된 항목을 보완하여 d차원 부울 벡터의 기본적인 클러스터링 문제를 해결하기 위해.
• 누락된 데이터 설정 하에서 클러스터링 문제의 매개변수화된 복잡도를 특성화하기 위해.
• 반경 또는 지름 제약 조건이 있는 클러스터링에 대해 고정-매개변수 복잡도를 보장하는 최소한의 매개변수 조합을 규명하기 위해.
• 부울 데이터를 초월하여 임의의 고정 크기의 도메인을 갖는 데이터로 결과를 확장하여 적용 범위를 넓히기 위해.
• 누락된 데이터를 가진 클러스터링의 매개변수화된 복잡도에 대한 열린 질문을 해결하기 위해.

제안 방법

• 누락된 데이터 하에서 클러스터링 문제를 분석하기 위한 통합 툴킷을 개발하며, 주요 매개변수로 k(클러스터 수), r(반경 또는 지름), 그리고 누락된 항목을 커버하는 최소 행과 열의 수를 중점적으로 다룬다.
• 매개변수화된 복잡도 이론을 활용하여, 세 매개변수를 동시에 사용할 경우 고정-매개변수 복잡도가 성립함을 증명한다.
• 반경 및 지름 제약 조건 하에서 클러스터링 문제를 분석하기 위해 툴킷을 적용하여 날카운 복잡도 상한을 확립한다.
• 세 매개변수 중 하나라도 제거할 경우 매개변수화된 비결정성이 발생함을 보이며, 복합 매개변수화가 복잡도 확보를 위해 최소임을 입증한다.
• 비부울 알파벳으로도 보완 및 클러스터링 논리를 적응시켜 임의의 고정 크기의 도메인을 갖는 데이터로 프레임워크를 확장한다.
• 완전한 데이터 설정에서는 k + r로 매개변수화할 경우, 고려된 모든 클러스터링 문제가 고정-매개변수 복잡도임을 보여준다.

실험 결과

연구 질문

• RQ1 k, r, 그리고 누락된 항목을 커버하는 최소 행-열 커버리지의 조합으로 매개변수화할 경우, 비완전 부울 데이터의 클러스터링 문제는 고정-매개변수 복잡도가 성립하는가?
• RQ2 세 매개변수(k, r, 커버리지) 중 하나라도 복합 매개변수화에서 제거될 경우, 매개변수화된 복잡도는 어떻게 변하는가?
• RQ3 제안된 프레임워크는 부울 벡터를 초월하여 임의의 고정 크기의 도메인을 갖는 데이터로 확장될 수 있는가?
• RQ4 데이터가 완전한 경우와 비완전한 경우에 대해 클러스터링 문제의 매개변수화된 복잡도는 상당히 다를까?
• RQ5 최소 행-열 커버리지가 비완전 데이터의 클러스터링 복잡도 확보에 미치는 역할은 무엇인가?

주요 결과

• 누락된 항목을 커버하는 데 필요한 최소 행과 열의 수를 포함하여, k, r, 그리고 누락된 항목을 커버하는 최소 행과 열의 수로 함께 매개변수화할 경우, 비완전 부울 데이터의 클러스터링 문제는 고정-매개변수 복잡도가 성립한다.
• k, r, 커버리지 중 하나라도 제거할 경우 매개변수화된 비결정성이 발생함을 보이며, 이는 복잡도 확보를 위해 복합 매개변수화가 최소임을 입증한다.
• 개발된 툴킷을 통해 비완전 데이터 하에서 다양한 클러스터링 문제의 매개변수화된 복잡도를 정밀하게 특성화할 수 있다.
• 이 프레임워크는 누락된 데이터를 가진 클러스터링의 매개변수화된 복잡도에 대한 열린 질문을 해결한다.
• 완전한 데이터 설정에서는 k + r로 매개변수화할 경우, 고려된 모든 클러스터링 문제가 고정-매개변수 복잡도가 성립한다.
• 결과는 부울 데이터를 초월하여 임의의 고정 크기의 도메인을 갖는 데이터로도 확장되며, 부울 데이터를 초월한 광범위한 적용 가능성을 보여준다.