[논문 리뷰] On Sampling and Greedy MAP Inference of Constrained Determinantal Point Processes

Tarun Kathuria, Amit Deshpande|arXiv (Cornell University)|2016. 07. 06.

Complexity and Algorithms in Graphs참고 문헌 19인용 수 9

한 줄 요약

이 논문은 매트로이드 제약 조건의 특수한 경우인 분할 제약 조건 하에서 결정성 점진 과정(DPPs)에서 정확한 샘플링을 위한 다항식 시간 알고리즘을 제안한다. 이와 동시에 일반 매트로이드 제약 조건 하에서의 샘플링이 #P-난이도로 인해 비가능함을 증명한다. 또한 잘 조건화된 커널에서 k-DPPs에 대해 개선된 근사 보장을 제공하는 탐욕적 MAP 추론 방법을 도입하며, 실험 결과로 더 큰 k에서의 성능 향상이 뚜렷하게 나타난다.

ABSTRACT

Subset selection problems ask for a small, diverse yet representative subset of the given data. When pairwise similarities are captured by a kernel, the determinants of submatrices provide a measure of diversity or independence of items within a subset. Matroid theory gives another notion of independence, thus giving rise to optimization and sampling questions about Determinantal Point Processes (DPPs) under matroid constraints. Partition constraints, as a special case, arise naturally when incorporating additional labeling or clustering information, besides the kernel, in DPPs. Finding the maximum determinant submatrix under matroid constraints on its row/column indices has been previously studied. However, the corresponding question of sampling from DPPs under matroid constraints has been unresolved, beyond the simple cardinality constrained k-DPPs. We give the first polynomial time algorithm to sample exactly from DPPs under partition constraints, for any constant number of partitions. We complement this by a complexity theoretic barrier that rules out such a result under general matroid constraints. Our experiments indicate that partition-constrained DPPs offer more flexibility and more diversity than k-DPPs and their naive extensions, while being reasonably efficient in running time. We also show that a simple greedy initialization followed by local search gives improved approximation guarantees for the problem of MAP inference from k- DPPs on well-conditioned kernels. Our experiments show that this improvement is significant for larger values of k, supporting our theoretical result.

연구 동기 및 목표

• 커널에 의해 포괄되지 않는 데이터의 내재된 레이블이 존재할 때 발생하는 매트로이드 제약 조건 하에서 DPPs의 정확한 샘플링에 대한 격차를 해소한다.
• 고정된 수의 분할을 가진 DPPs에 대해 다항식 시간 정확한 샘플링 알고리즘을 제공한다.
• 일반 매트로이드 제약 조건 하에서 DPPs의 정확한 샘플링이 #P-난이도로 인해 비가능함을 복잡도 이론적 장벽으로 제시한다.
• 자기 하위모듈성의 로그 행렬식 성질을 활용하여 탐욕적 초기화와 국소 탐색을 통한 개선된 근사 보장을 제공하는 k-DPPs에 대한 MAP 추론 방법을 개선한다.
• 분할 제약 조건 하에서의 최대 행렬식 부분행렬 선택 문제에 대해 기존 작업과 동일한 근사 보장을 달성하기 위해 기하학적 볼록 프로그래밍을 사용한다.
• 합성 및 실세계 데이터셋(이미지 및 텍스트 요약 작업 포함)에서 샘플링 및 추론 알고리즘을 구현하고 평가한다.

제안 방법

• 정의된 분할을 고려하는 제약 조건이 있는 DPP 모델인 분할-DPPs를 제안하여, 레이블이 부여된 그룹 간 균형 잡힌 표현을 보장한다.
• 분할된 부분집합에 대한 행렬식 기반 확률 계산과 재귀적 분해를 활용하여, 분할-DPPs에 대해 다항식 시간 정확한 샘플링 알고리즘을 설계한다.
• 일반 매트로이드 제약 조건 하에서 DPPs의 샘플링이 #P-난이도임을 증명하기 위해, 이중 그래프에서 완벽한 매칭 수를 세는 문제로의 감소를 수행한다.
• 로그 행렬식의 하위모듈성 성질을 활용하여, 탐욕적 선택으로 초기화하고 국소 탐색으로 개선하는 k-DPPs에 대한 탐욕적 MAP 추론 방법을 도입한다.
• 분할 제약 조건 하에서 최대 행렬식 부분행렬 선택 문제에 대해, 이전 연구와 동일한 근사 보장을 달성하기 위해 기하학적 볼록 프로그래밍을 사용한다.
• 합성 및 실세계 데이터셋에서 샘플링 및 추론 알고리즘을 구현하고 평가하며, 이미지 및 텍스트 요약 작업을 포함한다.

실험 결과

연구 질문

• RQ1 분할 제약 조건은 매트로이드 제약 조건의 특수한 경우이지만, 이 조건 하에서 DPPs의 정확한 샘플링이 다항식 시간 내에 가능할 수 있는가?
• RQ2 일반 매트로이드 제약 조건 하에서 DPPs의 정확한 샘플링은 계산적으로 가능할 수 있는가, 아니면 비가능한가?
• RQ3 잘 조건화된 커널에서 k-DPPs의 MAP 추론에 대해 탐욕적 초기화 후 국소 탐색을 수행하면 근사 비율이 향상되는가?
• RQ4 분할 제약 조건이 있는 DPPs가 일반 k-DPPs 및 독립적인 k_i-DPPs에 비해 과도/부족 표현 및 중복 문제를 피하는 데 얼마나 효과적인가?
• RQ5 제안된 샘플링 및 추론 방법의 실증적 성능(실행 시간 및 해 품질 기준)은 어떠한가?

주요 결과

• 제안된 알고리즘은 고정된 수의 분할에 대해 분할-DPPs에서 다항식 시간 내에 정확한 샘플링을 가능하게 하여, 제약 조건이 있는 DPP 샘플링 분야의 열린 문제를 해결한다.
• 복잡도 장벽을 통해 일반 매트로이드 제약 조건 하에서 DPPs의 정확한 샘플링이 #P-난이도임을 증명하며, 이는 이중 그래프에서 완벽한 매칭 수를 세는 문제를 시뮬레이션할 수 있음을 의미한다.
• 실험 결과로 분할-DPPs가 내재된 카테고리가 있는 이미지 및 텍스트 데이터에서 일반적인 k-DPP 및 독립적인 k_i-DPP 확장에서 흔히 발생하는 과도/부족 표현 및 중복 문제를 피함을 보여준다.
• 국소 탐색을 통한 탐욕적 초기화 방법은 표준 탐욕 알고리즘보다 개선된 근사 보장을 제공하며, 특히 k 값이 클수록 뚜렷한 성능 향상이 나타나며, 합성 및 실세계 데이터셋에서 검증되었다.
• 실행 시간 실험 결과로 분할-DPP 샘플링은 최대 약 50개의 항목과 3~4개의 분할에 대해 실현 가능하며, 분할 수에 따라 실행 시간이 지수적으로 증가하지만 중간 크기 문제에 대해서는 실용적이다.
• 합성 및 실세계의 일치 요약 작업에서 표준 탐욕 알고리즘 및 소프트맥스 최대화 기반 베이스라인에 비해 성능이 뛰어나며, k가 20를 초월할수록 더욱 두드러진다.