[논문 리뷰] Generalizing Jensen and Bregman divergences with comparative convexity and the statistical Bhattacharyya distances with comparable means

Frank Nielsen, Richard Nock|arXiv (Cornell University)|2017. 02. 16.

Advanced Statistical Methods and Models참고 문헌 24인용 수 3

한 줄 요약

이 논문은 일반화된 평균, 특히 등차수 평균을 기반으로 한 비교 볼록성에 기반하여 Jensen 및 Bregman 산란을 일반화하고, 비교 가능한 평균을 사용한 Bhattacharyya 산란의 새로운 일반화를 제안한다. 주요 기여는 등차수 평균을 사용할 경우 일반화된 Bregman 산란에 대한 닫힌 형태의 표현식을 도출한 것으로, 이는 기계학습 및 통계 분야에서의 효율적 계산과 응용을 가능하게 한다.

ABSTRACT

Comparative convexity is a generalization of convexity relying on abstract notions of means. We define the Jensen divergence and the Jensen diversity from the viewpoint of comparative convexity, and show how to obtain the generalized Bregman divergences as limit cases of skewed Jensen divergences. In particular, we report explicit formula of these generalized Bregman divergences when considering quasi-arithmetic means. Finally, we introduce a generalization of the Bhattacharyya statistical distances based on comparative means using relative convexity.

연구 동기 및 목표

• 표준 볼록성 외부에서 비교 볼록성과 추상 평균을 기반으로 한 프레임워크를 도입하여 고전적 Jensen 및 Bregman 산란을 일반화하는 것.
• 등차수 평균을 사용할 경우 일반화된 Bregman 산란에 대한 닫힌 형태의 표현식을 도출하여 실용적 계산을 가능하게 하는 것.
• 비정상적인 구조를 가진 통계적 분포를 위해 비교 가능한 평균을 사용하여 Bhattacharyya 산란을 일반화하는 것.
• 일반화된 Bhattacharyya 산란이 동차 산란이 되는 조건을 설정하는 것.
• 이러한 일반화된 산란이 기계학습 및 정보이론 분야에서 오차 한계 최적화 및 통계적 추론에 어떻게 활용될 수 있는지 보여주는 것.

제안 방법

• 두 개의 추상 평균 M(정의역)과 N(공역)을 사용하여 비교 볼록성 기반으로 일반화된 Jensen 산란을 정의함으로써 표준 중점 볼록성의 일반화.
• 편향된 Jensen 산란의 극한으로서 일반화된 Bregman 산란을 유도하여 편향과 산란 행동 간의 관계를 설정함.
• 생성 함수의 역함수를 사용하여 M과 N이 등차수 평균일 경우 일반화된 Bregman 산란에 대한 닫힌 형태의 공식을 제공함.
• 확률 밀도 함수나 질량 함수에 적용된 평균의 로그 비율을 정의함으로써 비교 가능한 평균을 사용한 일반화된 Bhattacharyya 거리를 도입함.
• 특히 동차 평균을 사용할 경우 일반화된 Bhattacharyya 거리가 동차 산란이 되는 조건을 설정함.
• Cauchy 및 다변량 t-분포와 같은 특정 가족에 프레임워크를 적용하여, 변형된 지수 가족 또는 거듭제곱 평균을 통해 닫힌 형태의 표현식을 도출함.

실험 결과

연구 질문

• RQ1 비교 볼록성과 추상 평균을 사용하여 Jensen 및 Bregman 산란을 어떻게 일반화할 수 있는가?
• RQ2 평균이 등차수일 경우 일반화된 Bregman 산란에 대한 닫힌 형태의 표현식은 무엇인가?
• RQ3 Bhattacharyya 산란은 비교 가능한 평균으로 일반화될 수 있으며, 어떤 조건에서 닫힌 형태의 표현식을 갖는가?
• RQ4 일반화된 산란은 동차성 하에서 어떻게 행동하며, 이는 통계 학습에 어떤 함의를 갖는가?
• RQ5 일반화된 Bhattacharyya 거리와 오차 확률 한계 측면에서의 Chernoff 정보 사이의 관계는 무엇인가?

주요 결과

• 등차수 평균을 사용할 경우 일반화된 Bregman 산란은 닫힌 형태의 표현식을 갖는다. 이는 효율적인 계산과 기계학습 파이프라인에의 통합을 가능하게 한다.
• 생성 함수를 통한 입력 공간의 임bedded 표현에 적용할 경우, 일반화된 Bregman 산란은 표준 Bregman 산란과 등각성을 유지한다.
• 비교 가능한 평균을 사용한 일반화된 Bhattacharyya 거리는 대칭적이며, 음이 아닌 산란이며, 이는 이산 분포와 특정 연속 가족에 대해 닫힌 형태로 계산될 수 있다.
• Cauchy 분포 가족의 경우, 일반화된 Bhattacharyya 거리는 표준 (G,A) 평균을 사용할 때 닫힌 형태로 표현될 수 없지만, 변형된 지수 가족을 통해 맞춤형으로 설계될 수 있다.
• 동차 비교 평균을 사용할 경우 일반화된 Bhattacharyya 거리는 동차 산란이 되며, 척도 불변성을 유지한다.
• 이 프레임워크는 분리 가능한 볼록 생성자 외에도 평균을 정의하는 기본 함수까지 학습할 수 있도록 하여, 민첩하고 데이터 기반의 산란 설계를 가능하게 한다.