[논문 리뷰] Blindness of score-based methods to isolated components and mixing proportions

Li Kevin Wenliang, Kanagawa, Heishiro|arXiv (Cornell University)|2020. 08. 23.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 5

한 줄 요약

이 논문은 스코어 기반 방법, 특히 스코어 매칭과 스틸 산란도가 다중모달 분포에서 고립된 성분과 잘못된 혼합 비율을 인식하지 못함을 드러낸다. 이는 모드 간 거리가 크더라도 서로 멀리 떨어져 있음에도 불구하고 원천 모드를 탐지하거나 구분하지 못함을 의미한다. 핵심 기여는 스코어 함수가 혼합 비율과는 무관하게 단일 성분의 스코어 함수로 수렴함을 보여주며, 이는 실질적으로 잘못된 낮은 산란도 값과 낮은 모델 정밀도를 초래한다.

ABSTRACT

Statistical tasks such as density estimation and approximate Bayesian inference often involve densities with unknown normalising constants. Score-based methods, including score matching, are popular techniques as they are free of normalising constants. Although these methods enjoy theoretical guarantees, a little-known fact is that they exhibit practical failure modes when the unnormalised distribution of interest has isolated components -- they cannot discover isolated components or identify the correct mixing proportions between components. We demonstrate these findings using simple distributions and present heuristic attempts to address these issues. We hope to bring the attention of theoreticians and practitioners to these issues when developing new algorithms and applications.

연구 동기 및 목표

• 정규화되지 않은 밀도 함수에 고립된 성분이 존재할 경우 스코어 기반 방법에서 발생하는 심각한 실패 모드를 드러내는 것.
• 스코어 매칭과 스틸 산란도가 실제 분포의 구조적 차이가 크더라도 잘못된 낮은 산란도 값을 도출할 수 있음을 보여주는 것.
• 스코어 기반 기법을 사용한 밀도 추정, 근사 베이지안 추론, 변분 추론에 대한 실용적 영향을 부각하는 것.
• 해소책이 되는 힌트적 접근법을 제안하고 이와 같은 한계에 대해 이론가들과 실무자들이 인지하도록 유도하는 것.

제안 방법

• 분산에 비해 큰 거리로 분리된 두 성분을 가진 가우시안 혼합 모델의 스코어 함수 분석.
• 모드 간 거리가 증가함에 따라 혼합 비율과는 무관하게 혼합 모델의 스코어 함수가 단일 성분의 스코어 함수로 수렴함을 증명.
• 피셔 산란도와 스틸 산란도를 사용해 모델-데이터 불일치를 측정하며, 이들이 성분의 고립성과 혼합 비율에 민감하지 않음을 보여줌.
• SVGDM에서의 안내열(annealing)을 적용하여 온도 스케줄링 동안 혼합 비율이 유지되지 않아 잘못된 입자 할당이 발생함을 보여줌.
• 동일한 분포 하에서의 자기일관된 기대값을 활용하는 엔트로피 기울기 추정과의 대비를 통해 스코어 기반 방법이 이와 같은 맹점에 노출됨을 설명.
• 간단한 예제와 고립된 모드 간격이 큰 경우의 점근적 근사 근사를 통해 시각적 및 분석적 증거 제공.

실험 결과

연구 질문

• RQ1 왜 스코어 기반 방법은 다중모달 분포에서 고립된 성분을 탐지하지 못하는가?
• RQ2 모드가 넓게 분리된 가우시안 혼합 모델에서 스코어 함수는 어떻게 행동하는가?
• RQ3 피셔 산란도와 스틸 산란도가 동일한 성분을 가진 두 혼합 모델 간의 혼합 비율 차이를 어느 정도까지 탐지하지 못하는가?
• RQ4 SVGDM에서 안내열을 적용함에도 불구하고 혼합 비율이 정확히 유지되지 않는 이유는 무엇인가?
• RQ5 성분 고립에 대한 민감도 측면에서 스코어 기반 방법과 엔트로피 기울기 추정 간의 핵심적 차이는 무엇인가?

주요 결과

• 모드 간 거리가 넓게 떨어져 있을 경우, 혼합 비율과는 무관하게 가우시안 혼합 모델의 스코어 함수는 단일 성분의 스코어 함수로 수렴하며, 이는 성분 존재에 대한 민감도를 상실하게 된다.
• 데이터 분포와 모델 간의 피셔 산란도는 모델이 데이터에 존재하지 않는 고립된 성분을 포함하고 있음에도 불구하고 0에 수렴할 수 있다.
• 스틸 산란도는 동일한 성분을 가진 두 혼합 모델 간에 작은 값을 가질 수 있으며, 특히 모드 간 거리가 크면 클수록 그러한 경향이 뚜렷하다.
• SVGDM에서의 안내열은 온도 변화 과정에서 각 모드의 상대 질량이 변화함에 따라 정확한 혼합 비율을 유지하지 못하며, 이는 전체 분포가 고립되어 있더라도 해당 문제가 발생한다.
• 엔트로피 기울기 추정은 동일한 분포 하에서의 기대값에 의존하므로 이와 같은 맹점에 영향을 받지 않으며, 이는 교차 분포 민감도를 피함으로써 발생한다.
• 스틸 산란도를 통한 IPM의 이론적 상한은 다중모달 설정에서 큰 스틸 인자로 인해 느슨해질 수 있으며, 이는 그들의 정밀도를 떨어뜨려 근접도 측정 도구로서의 신뢰성을 약화시킨다.