[논문 리뷰] On some information-theoretic aspects of non-linear statistical inverse problems

Richard Nickl, Gabriel P. Paternain|arXiv (Cornell University)|2021. 07. 20.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 타원형 PDE에 의해 지배되는 비선형 통계적 역문제에서 정보이론적 한계를 조사하며, 도전성 매개변수의 매끄러운 선형 함수에 대해 피셔 정보가 0이 될 수 있음을 보여준다. 반-바르트의 준모수 이론을 사용하여, 이 경우의 수반 범위 조건 실패로 인해 지역적으로라도 라플라스 연산자 근처에서 베르슈타인-폰 미제스 근사가 실패함을 증명한다.

ABSTRACT

Results by van der Vaart (1991) from semi-parametric statistics about the existence of a non-zero Fisher information are reviewed in an infinite-dimensional non-linear Gaussian regression setting. Information-theoretically optimal inference on aspects of the unknown parameter is possible if and only if the adjoint of the linearisation of the regression map satisfies a certain range condition. It is shown that this range condition may fail in a commonly studied elliptic inverse problem with a divergence form equation, and that a large class of smooth linear functionals of the conductivity parameter cannot be estimated efficiently in this case. In particular, Gaussian `Bernstein von Mises'-type approximations for Bayesian posterior distributions do not hold in this setting.

연구 동기 및 목표

• 무한차원 비선형 역문제에서 정보이론적으로 최적의 추론이 가능한 조건을 규명하는 것.
• 특히 가우시안 사후 근사에 대해 비선형 PDE 기반 역문제에서의 베르슈타인-폰 미제스 정리의 타당성을 조사하는 것.
• 선형화된 정방향 사상의 수반의 역할이 비제로 피셔 정보 존재 여부를 결정하는 데 기여하는 바를 분석하는 것.
• 편미분형 연산자를 갖는 타원형 역문제에서 준모수 효율성에 필요한 범위 조건이 언제 실패하는지 규명하는 것.
• 일반적으로 연구되는 도전성 역문제에서, 매끄러운 함수의 광범위한 클래스에 대해 효율적 추정과 사후 가우시안 근사가 불가능함을 보여주는 것.

제안 방법

• 반-바르트의 준모수 이론을 무한차원 비선형 회귀 모델에 적용하여 피셔 정보 존재성에 대한 이론을 확장한다.
• PDE 제약 조건이 있는 가우시안 회귀 설정에서 정방향 사상 $ \tilde{G}_\theta $ 의 선형화 $ D\tilde{G}_\theta $ 를 분석한다.
• 수반 연산자 $ D\tilde{G}_\theta^* $ 를 적용하여 중심적인 피셔 정보 구조인 정보 연산자 $ D\tilde{G}_\theta^* D\tilde{G}_\theta $ 를 유도한다.
• 비제로 피셔 정보 존재를 위해 $ \text{Ran}(D\tilde{G}_\theta^*) \text{ dense in } \theta\text{-space} $ 인 범위 조건이 필수적임을 증명한다.
• 콤���트 연산자의 스펙트럼 이론을 활용하여 $ (D\tilde{G}_\theta^* D\tilde{G}_\theta)^{1/2} $ 의 범위를 특성화하고, 이와 역정보 피셔 정보 존재성과 연결한다.
• 힐버트 공간의 추론과 정규직교 고유기저를 통한 근사 기법을 활용하여 범위 조건이 실패할 경우 $ i_{\theta,H,\theta} = 0 $ 임을 보여준다.

실험 결과

연구 질문

• RQ1 비선형 PDE 기반 역문제에서 알려지지 않은 매개변수의 선형 함수에 대해 비제로 피셔 정보가 존재하는 조건은 무엇인가?
• RQ2 편미분형 PDE를 갖는 비선형 타원형 역문제에서 사후 분포에 대해 베르슈타인-폰 미제스 정리가 성립할 수 있는가?
• RQ3 이 맥락에서 준모수 효율성에 있어 선형화된 정방향 사상의 수반의 범위 조건이 충분하고 필수적인가?
• RQ4 도전성 문제에서 표준 라플라스 연산자 근처의 매끄러운 이웃에서도 범위 조건 실패가 발생하는가?
• RQ5 이 역문제 설정에서 효율적 추정이 불가능한 특정 매끄러운 함수의 클래스는 무엇인가?

주요 결과

• 편미분형 PDE를 갖는 타원형 역문제에서 선형화된 정방향 사상의 수반이 요구되는 범위 조건을 충족하지 못한다.
• 결과적으로 도전성 매개변수의 광범위한 매끄러운 선형 함수에 대해 피셔 정보가 0이 되며, 이는 정보이론적 효율성의 가능성이 없음을 의미한다.
• 정리 6과 7에서 보여지듯이, 비제로 피셔 정보 역행렬 $ \rho_\theta^2(\theta) $ 는 매끄러운 테스트 함수 $ \theta $ 의 광범위한 클래스에 대해 존재하지 않는다.
• 이 설정에서는 지역적으로라도 라플라스 연산자 근처에서 베르슈타인-폰 미제스 유형의 가우시안 근사가 성립하지 않는다.
• 이 실패는 정보 연산자 $ D\tilde{G}_\theta^* D\tilde{G}_\theta $ 의 스펙트럼 성질에 기인하며, 이는 콤팩트이면서 매개변수 공간에서 밀도가 없는 범위를 갖는다.
• 일관된 비모수 추정기의 존재에도 불구하고 이 결과는 이 클래스의 PDE 역문제에서 일관성과 준모수 효율성 사이에 근본적인 격차가 있음을 드러낸다.