[논문 리뷰] Information Processing Equalities and the Information-Risk Bridge

Robert C. Williamson, Zac Cranko|arXiv (Cornell University)|2022. 07. 25.

Statistical Mechanics and Entropy인용 수 5

한 줄 요약

이 논문은 볼록집합 위에서의 지지함수의 기대값으로 발산을 재정의함으로써 통계적 실험에서의 정보를 측정하기 위한 통합 프레임워크를 제안한다. 이 프레임워크는 $φ$-발산, MMD, IPM을 일반화하며, 정보 측정이 일관되게 이루어질 경우 정보 처리 부등식이 등식으로 전환됨을 드러내며, 모델 클래스 선택과 노이즈를 통한 정규화에 응용 가능하다.

ABSTRACT

We introduce two new classes of measures of information for statistical experiments which generalise and subsume $ϕ$-divergences, integral probability metrics, $\mathfrak{N}$-distances (MMD), and $(f,Γ)$ divergences between two or more distributions. This enables us to derive a simple geometrical relationship between measures of information and the Bayes risk of a statistical decision problem, thus extending the variational $ϕ$-divergence representation to multiple distributions in an entirely symmetric manner. The new families of divergence are closed under the action of Markov operators which yields an information processing equality which is a refinement and generalisation of the classical data processing inequality. This equality gives insight into the significance of the choice of the hypothesis class in classical risk minimization.

연구 동기 및 목표

• 기존의 정보 측정 방식—$φ$-발산, MMD, 적분 확률 거리 등—을 하나의 대칭적 프레임워크로 일반화하고 통합하기.
• 고전적 정보 처리 부등식의 비대칭성과 부등식성 문제를 해결하기 위해 정보 측정과 베이즈 위험 간의 정확한 등식 기반 관계를 수립하기.
• 모델 제약 조건을 정보 정의에 직접 통합함으로써 가설 클래스의 역할을 위험 최소화 프로세스에 정식화하기.
• 정보가 이 프레임워크 내에서 일관되게 측정될 경우 고전적 정보 처리 부등식이 실제로 등식임을 보여주기.
• 노이즈를 통한 정규화와 마르코프 연산자를 자연스럽게 포함하는 기하학적 및 변분적 기반을 정보 측정에 제공하기.

제안 방법

• 볼록집합의 지지함수의 기대값으로 정보 측정을 재정의함으로써 발산의 기하학적 해석을 가능하게 하기.
• 두 가지 새로운 정보 측정 유형을 도입: 비제약형(일반화된 $φ$-발산과 IPM을 포함) 및 제약형(함수류 $\mathcal{F}$를 통한 모델 클래스 제약를 통합).
• 마르코프 연산자가 이러한 정보 측정의 구조를 유지함을 보여줌으로써 새로운 정보 처리 등식을 도출함으로써 고전적 데이터 처리 부등식을 정교화하기.
• 손실 함수와 가설 클래스를 직접 통합한 변분 표현을 통해 정보 측정과 베이즈 위험 간의 1:1 대응 관계를 수립하기.
• 레전드르-펜켈 변환과 볼록 해석학을 활용하여 다수의 분포에 대한 발산의 변분 형태를 통합하기.
• 기존의 MMD와 IPM과 같은 알려진 거리 척도를 제안된 프레임워크의 특수한 경우로 재해석함으로써, 지지함수 표현에서 이들이 자연스럽게 유도됨을 보여주기.

실험 결과

연구 질문

• RQ1 기존의 발산—$φ$-발산, MMD, IPM—은 어떻게 하나의 대칭적 프레임워크로 통합될 수 있는가?
• RQ2 통계적 의사결정 문제에서 정보 측정과 베이즈 위험 간의 정확한 관계는 무엇인가?
• RQ3 왜 고전적 정보 처리 부등식은 전체 그림을 포괄하지 못하며, 이를 어떻게 등식으로 승격시킬 수 있는가?
• RQ4 가설 클래스의 선택(예: $\mathcal{F}$)은 학습 문제에서 정보량과 위험에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크 하에서 마르코프 연산자는 정보를 어떻게 유지하거나 변형하는가? 이는 데이터 처리 부등식을 어떻게 정교화하는가?

주요 결과

• 논문은 정보 측정과 베이즈 위험 간에 대칭적이고 등식 기반의 다리 역할을 수립하며, 손실 함수와 모델 클래스가 적절히 고려될 경우 정보와 위험 간에 일대일 대응 관계가 성립함을 보여준다.
• 고전적 데이터 처리 부등식은 제안된 프레임워크에서 정보 손실이 정확히 측정될 경우 더 일반적인 정보 처리 등식의 특수한 경우임을 입증한다.
• 새로운 정보 측정은 마르코프 연산자에 대해 닫혀 있으며, 이는 정보 처리를 부등식이 아닌 등식으로 분석할 수 있음을 의미하며, 양쪽 모두에서 일관된 측정이 가능하다.
• 이 프레임워크는 기존의 발산을 자연스럽게 포함하고 일반화한다: $φ$-발산, MMD, IPM, $(f,\Gamma)$-발산은 모두 제안된 $\mathfrak{F}$-정보 및 $\mathcal{F}$-정보 가족의 특수한 경우이다.
• 제약 정보 측정($\mathcal{F}$-정보)은 함수류 제약을 통한 정규화가 정보 정의 자체와 본질적으로 연결되어 있음을 드러내며, 일반화 및 강인성에 있어 그 사용의 타당성을 뒷받침한다.
• 지지함수 표현은 가설 클래스와 손실 함수의 역할을 명확히 드러내는 기하학적 해석을 제공함으로써, 고전적 정의에서의 모호함을 해소한다.