[논문 리뷰] Error Exponents of Mismatched Likelihood Ratio Testing

Parham Boroumand, Albert Guillén i Fàbregas|arXiv (Cornell University)|2020. 01. 12.

Distributed Sensor Networks and Detection Algorithms참고 문헌 13인용 수 2

한 줄 요약

이 논문은 진정한 생성 분포 P1 및 P2 대신 잘못된 분포 ˆP1 및 ˆP2를 사용하는 불일치된 우도 비율 검정에서 오차 지수를 분석한다. 불일치 상황에서 유형 I 및 유형 II 오차 지수에 대한 정확한 표현을 도출하고, 그들의 볼록성과 연속성을 확립하며, 상대 엔트로피 구 내에서 최악의 성능에 대한 일차 근사치를 제공한다. 이는 오차 지수 민감도가 불일치된 분포 간의 발산과 함께 증가함을 보여준다.

ABSTRACT

We study the problem of mismatched likelihood ratio test. We analyze the type-\RNum{1} and \RNum{2} error exponents when the actual distributions generating the observation are different from the distributions used in the test. We derive the worst-case error exponents when the actual distributions generating the data are within a relative entropy ball of the test distributions. In addition, we study the sensitivity of the test for small relative entropy balls.

연구 동기 및 목표

• 불일치된 분포 ˆP1 및 ˆP2를 사용하는 우도 비율 검정에서 진정한 생성 분포 P1 및 P2 대신 오차 지수의 트레이드오프를 특성화하는 것.
• 진정한 분포 P1 및 P2가 테스트 분포 ˆP1 및 ˆP2 주위의 상대 엔트로피 구 내에 있을 때 최악의 오차 지수를 도출하는 것.
• 특히 스텐의 정황에서 진정한 분포가 테스트 분포에서 작은 변동을 겪을 경우 오차 지수의 민감도를 연구하는 것.
• 테일러 전개와 피셔 정보 행렬을 사용하여 최악의 오차 지수에 대한 해석적 근사치를 제공하는 것.
• 분포 불일치에 대해 오차 지수 함수의 볼록성과 연속성 성질을 확립하는 것.

제안 방법

• 불일치된 테스트에서 유형 I 및 유형 II 오차 지수에 대한 정확한 표현을 유도하기 위해 우도 비율 제약 조건을 만족하는 분포에 대한 최소화를 수행한다.
• 기울인 분포 Qλ를 사용하여 로그 모멘트 생성 함수를 통해 오차 지수를 이중 형태로 표현한다.
• 산노의 정리와 상대 엔트로피 최소화를 적용하여 최적의 오차 지수 트레이드오프를 특성화한다.
• 테일러 전개와 피셔 정보 행렬을 사용하여 상대 엔트로피 구 내에서 최악의 오차 지수를 근사한다.
• Envelope 정리와 KKT 조건을 활용하여 민감도 경계와 오차 지수 열화의 일차 근사치를 도출한다.
• 오차 지수 함수가 임계값 파라미터에 대해 볼록임을 증명하고, 우도 비율 통계량의 분산을 분석한다.

실험 결과

연구 질문

• RQ1 불일치된 분포 ˆP1 및 ˆP2를 사용하는 우도 비율 검정에서 유형 I 및 유형 II 오차 지수에 대한 정확한 표현은 무엇인가?
• RQ2 진정한 분포 P1 및 P2가 상대 엔트로피 구 내에서 테스트 분포 ˆP1 및 ˆP2에서 벗어날 경우 오차 지수는 어떻게 열화되는가?
• RQ3 오차 지수의 민감도는 진정한 분포의 작은 변동에 대해 어떻게 변하고, 이는 불일치 수준에 따라 어떻게 달라지는가?
• RQ4 작은 상대 엔트로피 편차에 대해 최악의 오차 지수를 닫힌 형태로 어떻게 근사할 수 있는가?
• RQ5 분포 불일치의 맥락에서 오차 지수와 피셔 정보 행렬 간의 관계는 무엇인가?

주요 결과

• 불일치된 테스트에서 최적의 오차 지수 트레이드오프는 불일치된 우도 비율 임계값을 정의하는 집합에 대해 P1 및 P2로의 상대 엔트로피를 최소화함으로써 주어진다.
• 오차 지수 ˆE1 및 ˆE2는 진정한 분포 P1 및 P2에 대해 연속적인 함수이며, 그들의 도함수는 각각 −ˆQλ(x)/P1(x) 및 −ˆQλ(x)/P2(x)로 주어진다.
• 유형 I 오차에 대한 최악의 오차 지수 ˆEL1(R1)는 ˜EL1(R1) ≈ min_{1/2 θ^T J( ˆP1)θ ≤ R1, 1^T θ = 0} E1(ˆφˆγ) + θ^T ∇ˆE1 로 근사되며, 여기서 θ = P1 - ˆP1이다.
• 최악의 오차 지수를 최소화하는 최적의 편향 벡터 θP1은 오차 지수의 기울기로 가중된 역 피셔 정보 행렬에 비례한다.
• 우도 비율 통계량 ˆQλ(X)/ˆP1(X)의 분산은 λ가 증가함에 따라 증가하므로, 오차 지수 민감도는 불일치된 임계값 γ와 함께 증가함을 의미한다.
• 오차 지수의 임계값 ˆγ에 대한 도함수는 최적화되는 λ와 같으며, 이 λ는 ˆγ에 대해 비감소함을 확인함으로써 오차 지수 함수의 볼록성을 확인한다.