[논문 리뷰] On information projections between multivariate elliptical and location-scale families

Frank Nielsen|arXiv (Cornell University)|2021. 01. 11.

Advanced Statistical Methods and Models참고 문헌 34인용 수 4

한 줄 요약

이 논문은 주어진 분포의 위치 및 척도 매개변수의 선택과 관계없이, 위치-척도 가족 간의 최소 f-분산이 불변임을 규명한다. 다변량 위치-척도 군 작용에 대한 불변성을 활용하여, 저자들은 f-분산 계산을 표준 형태로 축소시킴으로써 효율적인 몬테카를로 추정이 가능하게 하고, 피셔-라오 계량을 통해 쌍곡기하학적 해석을 제시한다.

ABSTRACT

We study information projections with respect to statistical $f$-divergences between any two location-scale families. We consider a multivariate generalization of the location-scale families which includes the elliptical and the spherical subfamilies. By using the action of the multivariate location-scale group, we show how to reduce the calculation of $f$-divergences between any two location-scale densities to canonical settings involving standard densities, and derive thereof fast Monte Carlo estimators of $f$-divergences with good properties. Finally, we prove that the minimum $f$-divergence between a prescribed density of a location-scale family and another location-scale family is independent of the prescribed location-scale parameter. We interpret geometrically this property.

연구 동기 및 목표

• f-분산을 이용한 다변량 타원형 가족과 위치-척도 가족 간의 정보 투영을 연구한다.
• 다변량 위치-척도 군 작용에 대한 f-분산의 불변성 성질을 도출한다.
• f-분산 계산을 표준 밀도를 포함하는 표준형으로 축소시켜 효율적인 추정을 가능하게 한다.
• 최소 f-분산 투영이 주어진 위치-척도 매개변수의 선택과 무관하다는 것을 증명한다.
• 불변성 성질에 대한 기하학적 해석을 쌍곡기하학과 피셔-라오 계량을 이용하여 제공한다.

제안 방법

• 다변량 위치-척도 군의 작용을 이용하여 임의의 밀도를 표준형으로 변환함으로써 f-분산 계산을 단순화한다.
• 위치-척도 변환에 대한 f-분산의 불변성(정리 1)을 도출하여 표준 밀도로의 축소를 가능하게 한다.
• 피셔-라오 계량을 적용하여 위치-척도 가족의 통계다양체가 일정한 음의 곡률을 가지며, 이는 쌍곡기하학을 의미함을 보여준다.
• 닫힌 형태의 계산이 불가능한 경우, 표준형 축소를 활용하여 빠른 몬테카를로 추정기를 구축한다.
• 모비우스 변환과 SLℝ(2)와 SUℂ(1,1) 사이의 동형사상으로 푸앵카레 상반평면을 단위원판으로 매핑하여 기하학적 분석을 수행한다.
• 위치-척도 가족에 속한 두 밀도 간의 피셔-라오 거리는 푸앵카레 모델에서 스케일링된 쌍곡거리에 해당함을 확립한다.

실험 결과

연구 질문

• RQ1 주어진 위치-척도 가족과 다른 위치-척도 가족 간의 최소 f-분산은 주어진 분포의 매개변수 선택에 따라 달라지는가?
• RQ2 임의의 위치-척도 밀도 간의 f-분산은 표준 밀도를 포함하는 표준형으로 축소될 수 있는가?
• RQ3 피셔-라오 계량 하에서 위치-척도 가족의 통계다양체의 기하학적 구조는 어떠한가?
• RQ4 위치-척도 가족 간의 f-분산에 대한 효율적인 몬테카를로 추정기는 어떻게 구성할 수 있는가?
• RQ5 다변량 위치-척도 군은 정보 투영 문제를 단순화하는 데 어떤 역할을 하는가?

주요 결과

• 주어진 위치-척도 가족과 다른 위치-척도 가족 간의 최소 f-분산은 주어진 분포의 위치 및 척도 매개변수의 선택과 무관하다.
• f-분산은 다변량 위치-척도 군의 작용에 대해 불변이며, 이는 표준 밀도를 포함하는 표준 설정으로의 축소를 가능하게 한다.
• 위치-척도 가족에 대한 피셔-라오 계량은 일정한 음의 곡률 κ = −1/b²를 가지며, 이는 쌍곡기하학을 의미한다.
• 다변량 정규 가족의 경우, 피셔-라오 거리는 곡률 κ = −1/2인 푸앵카레 상반평면에서의 쌍곡거리에 비례한다.
• 카이 편포함의 경우, 피셔-라오 거리는 곡률 κ = −2인 스케일링된 쌍곡거리에 해당한다.
• 표준형 축소를 활용하여 f-분산에 대한 효율적인 몬테카를로 추정기를 구축하였으며, 양호한 통계적 성질을 보장한다.