[논문 리뷰] Approximating the Permanent with Belief Propagation

Bert Huang, Tony Jebara|ArXiv.org|2009. 08. 12.

Error Correcting Code Techniques참고 문헌 20인용 수 42

한 줄 요약

이 논문은 비음수 행렬의 영구행렬을 효율적으로 근사하기 위해 신뢰 전파(Belief Propagation, BP) 기반 방법을 제안한다. 이는 영구행렬와 동일한 분할 함수를 가지는 확률 분포를 정의함으로써 이루어지며, Bethe 자유 에너지 근사법을 사용하여 알고리즘이 반복당 $O(n^2)$의 시간 복잡도를 가지며, 순열 불변성이 요구되는 커널 학습 과제에서 뛰어난 성능을 보이며, 표준 RBF 커널을 뛰어넘기도 한다.

ABSTRACT

This work describes a method of approximating matrix permanents efficiently using belief propagation. We formulate a probability distribution whose partition function is exactly the permanent, then use Bethe free energy to approximate this partition function. After deriving some speedups to standard belief propagation, the resulting algorithm requires $(n^2)$ time per iteration. Finally, we demonstrate the advantages of using this approximation.

연구 동기 및 목표

• 비음수 행렬의 #P-완전한 영구행렬에 대한 빠르고 확장 가능한 근사 방법을 개발하기 위해.
• 그래프 모델과 신뢰 전파를 활용하여 분할 함수 공식화를 통해 영구행렬을 근사하기 위해.
• 순열 불변성이 핵심적인 커널 학습 과제에서 방법의 성능을 평가하기 위해.
• BP 기반 영구행렬 근사의 이론적 및 실증적 성질, 특히 수렴성과 강건성에 대해 조사하기 위해.

제안 방법

• 영구행렬과 정확히 일치하는 분할 함수를 가지는 매칭에 대한 확률 분포를 정의하기 위해.
• 분할 함수를 추정하는 변분 목표를 최소화하기 위해 Bethe 자유 에너지 근사를 사용하기 위해.
• 이중 그래프에서 할당을 나타내는 변수 간 메시지를 반복적으로 업데이트하기 위해 루프가 있는 신뢰 전파를 적용하기 위해.
• 표준 BP의 성능 향상을 위해 속도 향상 기법을 도출하여 반복당 시간 복잡도를 $O(n^2)$로 감소시키기 위해.
• 데이터 포인트 간 부분 커널 행렬의 근사 영구행렬을 기반으로 커널 함수를 구성하기 위해.
• 결과로 얻어진 근사 영구행렬 커널을 SVM 분류 과제에 적용하여 특성의 순서 뒤바꿈에 대한 강건성 테스트하기 위해.

실험 결과

연구 질문

• RQ1 신뢰 전파가 비음수 행렬의 영구행렬 근사에 효과적으로 적용될 수 있는가?
• RQ2 속도와 정확도 측면에서 BP 기반 근사법이 Ryser의 알고리즘과 MCMC 샘플링과 비교해 어떻게 성능을 내는가?
• RQ3 근사 영구행렬이 기계학습 과제에서 유효한 양의 정부호 커널을 생성하는가?
• RQ4 특성의 순서 변경 또는 데이터 뒤섞임에 대해 BP 기반 영구행렬 근사법은 얼마나 강건한가?

주요 결과

• BP 기반 방법은 반복당 $O(n^2)$의 시간 복잡도를 달성하여, 작은 크기에서 중간 크기의 $n$에 대해 MCMC 샘플링과 Ryser의 알고리즘보다 뚜렷이 빠르다.
• 데이터를 뒤섞은 경우에도 근사 영구행렬 커널은 표준 RBF 커널을 항상 뛰어넘었으며, 순서 불변성에 대한 강건성을 입증했다.
• 반복적 근사의 특성에도 불구하고 근사 영구행렬 커널은 유효한 양의 정부호 행렬을 생성하였다.
• pendigits 데이터셋에서 $ au=0.2$일 때 영구행렬 커널은 평균 오차 0.1463을 기록하여 순서 불변성 조건 하에서 기준 RBF 커널을 뛰어넘었다.
• 샘플링 기반 접근법이 진짜 값 주변에서 위아래로 진동할 수 있는 것과는 달리, 이 방법은 더 안정적인 성능을 보였다.