[논문 리뷰] Learning Signed Determinantal Point Processes through the Principal Minor Assignment Problem

Victor-Emmanuel Brunel|arXiv (Cornell University)|2018. 11. 01.

Random Matrices and Applications인용 수 9

한 줄 요약

이 논문은 비대칭 커널을 사용함으로써 상호작용이 반발력과 흡인력을 모두 가질 수 있도록 대칭 DPPs를 일반화한 부호가 있는 결정잔여점 프로세스(signed DPPs)를 소개한다. 부호가 있는 비대칭 요소를 가진 행렬의 클래스에 대해 주된 소수 행렬 할당 문제를 해결함으로써, GF₂에서 가우스 소거법을 사용한 부호 할당을 통해 커널의 다항식 시간 학습이 가능해지며, 이는 주된 소수 행렬 데이터로부터 부호가 있는 DPPs를 추정하는 실용적인 방법을 제공한다.

ABSTRACT

Symmetric determinantal point processes (DPP's) are a class of probabilistic models that encode the random selection of items that exhibit a repulsive behavior. They have attracted a lot of attention in machine learning, when returning diverse sets of items is sought for. Sampling and learning these symmetric DPP's is pretty well understood. In this work, we consider a new class of DPP's, which we call signed DPP's, where we break the symmetry and allow attractive behaviors. We set the ground for learning signed DPP's through a method of moments, by solving the so called principal assignment problem for a class of matrices $K$ that satisfy $K_{i,j}=\pm K_{j,i}$, $i eq j$, in polynomial time.

연구 동기 및 목표

• 비대칭, 부호가 있는 커널을 도입함으로써 대칭 DPPs를 흡인력 상호작용을 허용하도록 확장한다.
• 모수적 가정 없이 관측된 주요 소수 행렬로부터 이러한 커널을 학습하는 데 도전하는 문제를 다룬다.
• K_{i,j} = ± K_{j,i} 를 만족하는 ± 대칭 비대칭 요소를 가진 행렬의 클래스에 대해 주요 소수 행렬 할당 문제(PMA)를 해결한다.
• 정확한 주요 소수 행렬 데이터로부터 커널 복원을 위한 다항식 시간 알고리즘을 제공한다.
• 부호가 있는 DPP의 커널에 대한 식별 가능성 조건을 수립한다.

제안 방법

• 비대칭, 부호가 있는 커널을 정의하여, i ≠ j 일 때 K_{i,j} = ± K_{j,i} 를 만족하는 행렬로 대칭 DPPs를 일반화한다.
• 부호가 있는 커널에 대해 주요 소수 행렬 할당 문제(PMA)를 설정하고, 비대칭 요소의 부호 복원에 집중한다.
• 3-사이클과 4-사이클에서 유래한 사이클 기반 부호 제약 조건을 사용하여 GF₂ 상에서 부호 일관성 조건을 도출한다.
• 양의 사이클에서 유도된 부호 방정식 시스템을 해결하기 위해 GF₂에서 가우스 소거법을 적용한다.
• 대각성분을 a_{\{i\}} 으로 설정하고, 크기를 |a_{\{i\}}a_{\{j\}} - a_{\{i,j\}}| 로 설정하며, 부호는 부호 할당 알고리즘을 통해 결정함으로써 커널 행렬 H 를 구성한다.
• 알고리즘이 다항식 시간 내에 실행됨을 증명하며, 방정식 수는 O(N^4) 이하, 변수 수는 O(N^2) 이하로 제한된다.

실험 결과

연구 질문

• RQ1 주요 소수 행렬 데이터로부터 흡인력과 반발력 상호작용을 모두 가진 부호가 있는 DPPs를 일관되게 학습할 수 있는가?
• RQ2 부호가 있는 DPP의 커널은 주요 소수 행렬로부터 식별 가능한가?
• RQ3 K_{i,j} = ± K_{j,i} 를 만족하는 부호가 있는 행렬에 대해 주요 소수 행렬 할당 문제를 효율적으로 해결할 수 있는가?
• RQ4 정확한 주요 소수 행렬 관측치로부터 커널 행렬을 복원하는 데 필요한 계산 복잡도는 무엇인가?
• RQ5 모든 3-사이클과 4-사이클을 통해 부호 일관성을 어떻게 확보하여 유효한 커널 재구성 보장할 수 있는가?

주요 결과

• 접속 그래프가 복원 가능하고 요소들이 0에서 충분히 떨어져 있을 조건 하에서, 부호가 있는 DPP의 커널은 주요 소수 행렬로부터 식별 가능하다.
• 부호가 있는 커널에 대해 주요 소수 행렬 할당 문제를 해결하는 다항식 시간 알고리즘이 존재하며, 복잡도는 O(N^4) 번의 연산으로 제한된다.
• 알고리즘은 먼저 주요 소수 행렬로부터 대각성분과 크기 성분을 설정한 후, GF₂ 상에서 사이클 기반 제약 조건을 사용해 부호를 복원함으로써 커널을 복원한다.
• 모든 3-사이클과 4-사이클에서 부호 할당이 일관성이 있다면, 솔루션은 모든 주요 소수 행렬 제약 조건을 충족시킴이 보장된다.
• 이 방법은 비모수적이고 모멘트 방법 기반 접근법을 제공하며, 볼록 최적화나 반복적 방법의 통계적 보장을 필요로 하지 않는다.
• 이 프레임워크는 대칭 DPP 학습을 더 넓은 범주로 확장하여, 항목 선택에서 흡인력과 반발력을 모두 포괄할 수 있는 모델로 확장한다.