[논문 리뷰] Minimization of divergences on sets of signed measures

Michel Broniatowski, Amor Keziou|arXiv (Cornell University)|2010. 03. 29.

Risk and Portfolio Optimization참고 문헌 32인용 수 49

한 줄 요약

이 논문은 기준 확률측도 P와 부호를 가진 유한 측도의 부분집합 사이의 φ-산란을 최소화하는 조건의 존재성과 특성에 대해 설정한다. 특히 선형 모멘트 제약 조건 하에서, 약한 위상과 펜첼 쌍대성에 기반하여 φ-투영의 존재성을 증명하고, 이중 해의 존재성과 유일성에 대한 충분조건을 제시한다. 이는 최대 엔트로피 및 경험우도 프레임워크를 일반 산란과 함께 일반화된 부호를 가진 측도로 확장한다.

ABSTRACT

We consider the minimization problem of $ϕ$-divergences between a given probability measure $P$ and subsets $Ω$ of the vector space $\mathcal{M}_\mathcal{F}$ of all signed finite measures which integrate a given class $\mathcal{F}$ of bounded or unbounded measurable functions. The vector space $\mathcal{M}_\mathcal{F}$ is endowed with the weak topology induced by the class $\mathcal{F}\cup \mathcal{B}_b$ where $\mathcal{B}_b$ is the class of all bounded measurable functions. We treat the problems of existence and characterization of the $ϕ$-projections of $P$ on $Ω$. We consider also the dual equality and the dual attainment problems when $Ω$ is defined by linear constraints.

연구 동기 및 목표

• 약한 위상 하에서 부호 유한 측도의 닫힌 볼록집합 위에 확률측도 P의 φ-투영의 존재성과 특성 조건을 설정하는 것.
• 최소 산란 추정 이론을, 최소화 측도가 확률측도가 아닐 수 있는 경우를 포함하여 부호 측도로 확장하는 것.
• 선형 모멘트 제약 조건 하에서 φ-산란 최소화 문제의 이중 문제에 대한 해의 존재성과 이중 해의 도달 조건을 제공하는 것.
• 공통의 φ-산란 프레임워크 아래 최대 엔트로피, 경험우도 및 모멘트 문제 접근법을 통합하고 일반화하는 것.
• 볼록 함수 φ의 역미분 사상과 펜첼 쌍대성을 이용하여 최소화자의 구조를 특성화하는 것.

제안 방법

• 유계 가측 함수의 집합과 주어진 함수 집합 F에 의해 유도되는 약한 위상을 사용하여, 부호 측도 공간에서의 수렴을 정의한다.
• 프리마르 φ-산란 최소화 문제를 라그랑주 승수에 대한 이중 최적화 문제로 변환하기 위해 펜첼 쌍대성을 적용한다.
• 부호 측도의 르베그 분해를 사용하여, 절대 연속이 아닌 측도에 대해서도 라돈-니코딤 미분과 특이 부분을 이용해 φ-산란을 정의한다.
• 산란 생성 함수 φ의 볼록 쌍대 함수 φ*를 취하여 이중 문제를 유도하며, 이중 목표 함수는 sup_λ {λ₀ − ∫φ*(λᵀg(x)) dP(x)} 가 된다.
• φ의 도함수의 역함수 φ′⁻¹을 사용하여, 정규 조건 하에서 dQ*/dP = φ′⁻¹(λᵀg(x)) 를 통해 최소화자 Q*를 구성한다.
• 예를 들어 정리 2.5–2.7과 같은 볼록 해석학의 정리들을 적용하여, 제약 집합의 위상적 및 볼록성 가정 하에서 최소화자의 존재성을 보장한다.

실험 결과

연구 질문

• RQ1 확률측도 P가 부호 측도의 닫힌 볼록집합 위에 φ-투영이 존재하는 조건은 무엇인가?
• RQ2 φ-산란 최소화의 이중 문제는 언제 도달 가능하며, 이중 해는 언제 유일한가?
• RQ3 제약 조건이 모멘트 공간에서 선형인 경우, φ-산란의 최소화자가 어떻게 명시적으로 특성화될 수 있는가?
• RQ4 φ-투영이 기준 측도 P와 동일한 지지집합을 가지는 데 필요한 조건은 무엇인가?
• RQ5 이중 등식은 언제 성립하며, 이중 최적 해는 언제 도달되는가?

주요 결과

• 제약 집합이 닫혀 있고 산란이 집합 위에서 유한할 경우, 약한 위상 하에서 부호 측도의 닫힌 볼록집합 위에 P의 φ-투영이 존재한다.
• φ가 엄밀히 볼록하고 미분 가능할 경우, 최소화자 Q*는 어떤 이중 승수 λ̄에 대해 dQ*/dP = φ′⁻¹(λ̄ᵀg(x)) 로 유일하게 특성화된다.
• 이중 해의 도달 조건은 쌍대 함수 φ*의 정의역 내부에 이중 해 λ̄ 가 존재할 경우 성립하며, 이 경우 이중 목표 함수가 유한하다.
• φ(0) = ∞ 이고 lim|x|→∞ φ(x)/|x| = ∞ 라는 조건 하에서, inf_Q∈M_g φ(Q,P) = sup_λ {λ₀ − ∫φ*(λᵀg(x)) dP(x)} 의 이중 등식이 성립한다.
• 이중 도달에 대한 충분조건은: (i) φ(0) = ∞, (ii) φ가 무한대에서 선형보다 빠르게 증가, (iii) 제약 함수 g_i 가 유계이거나 쌍대 지수 k에 대해 L_k에 속한다는 것.
• φ가 본질적으로 매끄럽고 엄밀히 볼록할 경우, 이중 최적 해 λ̄ 는 유일하며, 이는 φ-투영의 유일성 보장한다.