[논문 리뷰] Approximating the Permanent by Sampling from Adaptive Partitions

Jonathan Kuck, Tri Dao외 3명|arXiv (Cornell University)|2019. 11. 26.

Markov Chains and Monte Carlo Methods인용 수 5

한 줄 요약

이 논문은 비정규화된 분포에서 정확한 샘플링을 위한 새로운 방법인 AdaPart를 소개한다. 이 방법은 적응형 분할과 분할 함수에 대한 상한을 사용한다. 이는 조밀한 행렬의 영구행렬에 대한 고확률, 다항시간 근사화를 가능하게 하며, 이전 방법 대비 25배 이상의 속도 향상을 이룬다. 또한 입자 필터에서 최적의 제안 분포에서의 샘플링을 가능하게 하여 다중 타깃 추적 성능을 10배 이상 향상시킨다.

ABSTRACT

Computing the permanent of a non-negative matrix is a core problem with practical applications ranging from target tracking to statistical thermodynamics. However, this problem is also #P-complete, which leaves little hope for finding an exact solution that can be computed efficiently. While the problem admits a fully polynomial randomized approximation scheme, this method has seen little use because it is both inefficient in practice and difficult to implement. We present AdaPart, a simple and efficient method for drawing exact samples from an unnormalized distribution. Using AdaPart, we show how to construct tight bounds on the permanent which hold with high probability, with guaranteed polynomial runtime for dense matrices. We find that AdaPart can provide empirical speedups exceeding 25x over prior sampling methods on matrices that are challenging for variational based approaches. Finally, in the context of multi-target tracking, exact sampling from the distribution defined by the matrix permanent allows us to use the optimal proposal distribution during particle filtering. Using AdaPart, we show that this leads to improved tracking performance using an order of magnitude fewer samples.

연구 동기 및 목표

• 비음수 행렬의 영구행렬을 계산하는 데 있어 계산적으로 불가능한 문제, 즉 #P-완전성 문제를 해결하기 위해.
• 기존의 FPRAS 알고리즘은 실세계 적용에 너무 느려 실용적이지 못한 점을 고려해, 실용적이고 효율적인 영구행렬 근사 방법을 개발하기 위해.
• 비정규화된 분포에서 정확한 샘플링을 가능하게 하기 위해 적응형 분할과 분할 함수에 대한 증명 가능하고 중첩 가능한 상한을 사용하기 위해.
• 입자 필터링 중 최적의 제안 분포에서의 샘플링을 가능하게 하여 다중 타깃 추적 성능을 향상시키기 위해.
• 영구행렬 외에도 일반적인 프레임워크를 제공하여 분할 함수 추정에 더 넓은 응용 가능성을 제공하기 위해.

제안 방법

• AdaPart는 상태 공간의 적응형 분할을 통해 목표 분포에 따라 동적으로 분할을 선택함으로써 상한의 날카기 정도와 샘플링 효율을 향상시킨다.
• 실행 시간 검증된 '중첩' 성질을 만족하는 분할 함수의 임의의 상한을 활용하여 비정규화된 분포에서 정확한 샘플링을 보장한다.
• 상한이 분할 간에 스스로를 포함하는지 확인하는 재귀적 정밀화 과정을 통해 정확성과 수렴성을 보장한다.
• 영구행렬의 경우, 다항시간 내에 계산 가능한 새로운 더 날카운 상한을 사용하며, 이는 이전의 중첩 상한보다 뛰어나다.
• 입자 필터링과 통합되어 영구행렬에 의해 정의된 최적의 제안 분포에서 정확한 샘플링을 가능하게 한다.
• 반복적 샘플링을 통해 영구행렬에 대한 날카운 고확률 상한을 제공하며, 조밀한 행렬에 대해 다항시간 런타임과 오차 보장을 제공한다.

실험 결과

연구 질문

• RQ1 고정된 분할 방법 대비 적응형 분할이 비정규화된 분포에서의 샘플링 효율성과 정확도를 향상시킬 수 있는가?
• RQ2 분할 함수의 상한만을 사용하여도 정확한 샘플링을 보장하는 일반적인 샘플링 방법을 설계할 수 있는가?
• RQ3 AdaPart는 영구행렬 추정에서 기존의 FPRAS 및 변분 근사 방법과 비교해 성능 및 정확도에서 뛰어나게 작용하는가?
• RQ4 입자 필터링 중 최적의 제안 분포에서의 정확한 샘플링이 더 적은 샘플 수로 다중 타깃 추적 성능을 크게 향상시킬 수 있는가?
• RQ5 더 날카운 적응형 상한이 조밀한 행렬과 희소 행렬 모두에 영향을 미치는가?

주요 결과

• AdaPart는 변분 방법에 취약한 행렬에 대해 이전의 샘플링 방법 대비 실측 속도 향상이 25배를 초과한다.
• 조밀한 행렬에 대해 AdaPart는 고확률로 다항시간 상한을 제공하며, 이는 실질적으로 이론적 FPRAS를 뛰어넘는 성능을 보인다.
• 다중 타깃 추적에서 AdaPart는 최적의 제안 분포에서의 샘플링을 가능하게 하여 필요한 샘플 수를 한 단계 감소시키며, 로그우도를 향상시키고 평균제곱오차를 감소시킨다.
• 추가적인 병렬 계산을 통해 샘플링 상한을 임의로 날카럽게 조정할 수 있으며, 이는 Sinkhorn의 고정 상한과 달리 본질적으로 느리고 개선 불가능한 점을 고려할 때 유리하다.
• AdaPart의 상한은 Sinkhorn 기반의 변분 상한보다 훨씬 날카롭게, 일부 경우(예: cage5 행렬)에서는 로그상한 차이가 20개 이상에 이르게 된다.
• 희소 행렬에 대해서는 방법의 잠재력은 보이지만, Bethe 근사와 같은 더 날카운 상한이 도입될 경우 성능 향상이 기대되나, 효율적인 구현이 여전히 계산적으로 도전적인 문제로 남아 있다.