[논문 리뷰] A New Method for Multinomial Inference using Dempster-Shafer Theory

Earl Lawrence, Murph, Alexander C.외 2명|arXiv (Cornell University)|2024. 10. 07.

Distributed Sensor Networks and Detection Algorithms참고 문헌 11인용 수 7

한 줄 요약

본 논문은 Dirichlet-DSM을 소개한다. 이는 Dempster-Shafer에 기반한 다항 분포 추론 방법으로, Dirichlet 사후분포를 도출하며 카테고리 순서의 미확정 순열을 처리하고 대칭성과 학습상의 이점을 제공한다.

ABSTRACT

A new method for multinomial inference is proposed by representing the cell probabilities as unordered segments on the unit interval and following Dempster-Shafer (DS) theory. The resulting DS posterior is then strengthened to improve symmetry and learning properties with the final posterior model being characterized by a Dirichlet distribution. In addition to computational simplicity, the new model has desirable invariance properties related to category permutations, refinements, and coarsenings. Furthermore, posterior inference on relative probabilities amongst certain cells depends only on data for the cells in question. Finally, the model is quite flexible with regard to parameterization and the range of testable assertions. Comparisons are made to existing methods and illustrated with two examples.

연구 동기 및 목표

• 다항 분포 추론의 필요성을 제시하고 기존 DS 접근법 및 IDM의 한계를 다룬다.
• Dirichlet-DSM이 Dirichlet 사후분포를 제공하고 불변성 특성을 보존한다.
• 순서 의존성을 피하고 대칭성을 향상시키기 위해 보조 방정식에 미확정 순열을 도입한다.
• 제한된 모델 및 일반 다항 모델에 대한 계산상의 이점과 적용 가능성을 보인다.

제안 방법

• 셀 확률을 단위 구간의 구간으로 표현하고 다항 추론을 위한 Dirichlet-DSM을 구성한다.
• 카테고리 라벨링에 대한 의존성을 제거하기 위해 구간 순서의 미확정 순열을 도입한다.
• 미확정 순열을 가진 보조 방정식과 Dirichlet(1, N1, ..., NK)에서 얻은 Z인 Dirichlet 분포 후사를 산출하는 랜덤 집합을 통해 Dirichlet-DSM을 정의한다.
• 사후 랜덤 집합이 Dirichlet 분포로 특징지어짐을 증명하고 대칭성 및 중립성 등의 성질에 대해 논의한다.
• n=1에서 일반 n으로 확장하려면 독립적인 사후 집합을 결합하고 매개변수 공간으로 투영한다.

Figure 3.1: Partition of ${\mathbb{U}}=[0,1)$ into ${\mathbb{U}}_{1},\ldots,{\mathbb{U}}_{K}$ .

실험 결과

연구 질문

• RQ1 다항 분포 추론을 수행하기 위해 Dempster-Shafer 이론을 어떻게 활용할 수 있는가?
• RQ2 보조 구조의 미확정 순열이 다항 매개변수에 대해 대칭적이고 계산적으로 다룰 수 있는 사후 분포를 산출할 수 있는가?
• RQ3 Dirichlet-DSM이 Simplex-DSM 및 불확정 Dirichlet 모델과 비교하여 계산적 및 추론상의 이점은 무엇인가?
• RQ4 매개변수 제약이나 제한된 모델 하에서 Dirichlet-DSM은 어떻게 동작하는가?

주요 결과

• Dirichlet-DSM의 사후는 (Z0, Z) 위의 Dirichlet 분포에 의해 특징지어지며 Z는 Dirichlet(1, N1, ..., NK)로 분포한다.
• 사후 랜덤 집합은 표준 매개변수 단순체 내부에 놓이고 표본 크기가 커지면서 응집하여 r(모름) 질량을 감소시킨다.
• 모형은 대칭성, 임베딩, 표현 불변성을 달성하여 Walley의 원칙과 중립성 개념과 일치한다.
• Dirichlet-DSM은 고전적 방법과 유사한 계산적 단순성을 제공하면서 집합 기반 확률적 진술과 제약 모델의 처리를 가능하게 한다.

Figure 4.1: Partition of ${\mathbb{U}}=[0,1)$ into ${\mathbb{U}}_{1},\ldots,{\mathbb{U}}_{K}$ ordered by a permutation $\pi$ .