[논문 리뷰] Extension of information geometry for modelling non-statistical systems

Ben Anthonis|arXiv (Cornell University)|2015. 01. 05.

Neural Networks and Applications참고 문헌 1인용 수 3

한 줄 요약

이 논문은 정보 기하학을 확장하여 분산 함수를 사용해 통계 모델 위에 미분기하학적 구조를 구성하는 데이터셋 모델 형식을 도입함으로써 비통계적 시스템의 기술을 가능하게 한다. 주요 기여는 분산에서 유도된 헤시안 구조와 애프린 연결을 기반으로 하는 기하학적 프레임워크로, 비유클리드인 환경 공간에서도 바나흐-미제르-파이셔 부분다양체에서 기대되는 메트릭을 정확히 재현한다.

ABSTRACT

In this dissertation, an abstract formalism extending information geometry is introduced. This framework encompasses a broad range of modelling problems, including possible applications in machine learning and in the information theoretical foundations of quantum theory. Its purely geometrical foundations make no use of probability theory and very little assumptions about the data or the models are made. Starting only from a divergence function, a Riemannian geometrical structure consisting of a metric tensor and an affine connection is constructed and its properties are investigated. Also the relation to information geometry and in particular the geometry of exponential families of probability distributions is elucidated. It turns out this geometrical framework offers a straightforward way to determine whether or not a parametrised family of distributions can be written in exponential form. Apart from the main theoretical chapter, the dissertation also contains a chapter of examples illustrating the application of the formalism and its geometric properties, a brief introduction to differential geometry and a historical overview of the development of information geometry.

연구 동기 및 목표

• 비통계적 데이터셋을 일반화된 기하학적 프레임워크로 모델링하기 위한 기초를 마련하고, 전통적인 정보 기하학을 확장한다.
• 고전적 정보 기하학이 비지수족 모델 및 비정적계 시스템을 다루는 데에 한계가 있음을 해결한다.
• 양자 물리학과 머신러닝을 포함한 다양한 분야에서의 피팅 절차를 위한 통합된 수학적 구조를 제공한다.
• 이 확장된 형식에서 자연스러운 애프린 연결과 곡률을 체계적으로 정의할 수 있는지 탐색한다.
• 통계역학과 양자정보이론 분야의 구체적 예시를 통해 이 형식의 적용 가능성을 입증한다.

제안 방법

• 확률 분포 간의 거리 개념을 일반화하기 위해 분산 함수를 기반으로 한 데이터셋 모델 형식을 제안한다.
• 분산을 사용해 모델 다양체 위에 리만 메트릭을 유도하는 헤시안 구조를 정의한다.
• 분산에서 유도된 평탄한 애프린 연결을 도입하여 모델 공간에서 일관된 기하연산을 가능하게 한다.
• 기하학적 일관성을 테스트하기 위해 반마르크-미제르-파이셔 분포의 부분다양체에 이 형식을 적용한다.
• 메트릭 텐서와 연결을 포함한 미분기하학 도구를 사용해 모델 다양체의 내재 곡률과 구조를 분석한다.
• 유도된 기하학적 구조가 환경 공간이 유클리드 메트릭을 갖지 않더라도 유클리드 임bedding에서 기대되는 것과 정확히 일치함을 입증한다.

실험 결과

연구 질문

• RQ1 분산 기반 모델을 사용해 비통계적 시스템에 대해 기하학적 프레임워크를 구성할 수 있는가?
• RQ2 비지수족 모델에서 분산 함수로부터 일관된 애프린 연결과 리만 메트릭을 어떻게 도출할 수 있는가?
• RQ3 비유클리드 환경 공간에서 바나흐-미제르-파이셔 분포의 부분다양체 기하학적 구조가 유클리드 임베딩에서 기대되는 것과 일치하는가?
• RQ4 이 형식에서 고전적 정보 기하학의 α-연결과 유사한 자연스러운 일파라미터 가중 연결의 일족이 존재하는가?
• RQ5 이 형식이 머신러닝과 양자정보이론 분야의 다양한 모델링 기법을 통합할 수 있는가?

주요 결과

• 데이터셋 모델 형식은 분산 함수로부터 리만 메트릭과 애프린 연결을 성공적으로 구성하여 비통계적 모델의 기하학적 분석을 가능하게 한다.
• 바나흐-미제르-파이셔 분포의 부분다양체에서 유도된 메트릭과 연결은 환경 공간이 유클리드가 아니더라도 유클리드 임베딩에서 기대되는 것과 정확히 일치한다.
• 이 형식은 비지수족에 속하는 모델, 예를 들어 상호작용이 없는 보스온 시스템과 선형 회귀 모델을 자연스럽게 수용하여 광범위한 적용 가능성을 보여준다.
• 분산에서 유도된 헤시안 구조는 모델 다양체 기하학을 기술하는 일관되고 수학적으로 탄탄한 방법을 제공한다.
• 이 접근법은 양자정보이론과 머신러닝 분야에서의 다양한 모델링 기법을 통합할 잠재력을 보이며, 특히 양자측정 이론의 정규화된 연산자값 측정(POVM)과의 호환성에서 뚜렷한 이점을 보인다.
• 결과적으로 이 형식은 기하학적 기준을 통해 지수족의 부분다양체로 간주될 수 있는 통계 모델을 탐지할 수 있을 것임을 시사한다.