[논문 리뷰] Optimal rates of entropy estimation over Lipschitz balls

Yanjun Han, Jiantao Jiao외 2명|arXiv (Cornell University)|2017. 11. 06.

Mathematical Approximation and Integration참고 문헌 20인용 수 16

한 줄 요약

이 논문은 [0,1]^d에서 리프시츠 볼에 속하는 밀도 함수에 대해 밀도가 0에서 멀리 떨어져 있지 않더라도 엔트로피 추정의 최소최대 최적 속도를 확립한다. 하디-리틀우드 최대부등식의 새로운 응용과 근사 이론을 통한 편향 분석을 통해 매끄러움 파라미터 $s \in (0,2]$에 대해 최적 속도 $(n\ln n)^{-s/(s+d)} + n^{-1/2}$를 도출하며, 최소 매끄러움 조건 하에서 비모수 엔트로피 추정의 오랜 열린 문제를 해결한다.

ABSTRACT

We consider the problem of minimax estimation of the entropy of a density over Lipschitz balls. Dropping the usual assumption that the density is bounded away from zero, we obtain the minimax rates $(n\ln n)^{-s/(s+d)} + n^{-1/2}$ for $0

연구 동기 및 목표

• 밀도가 0에서 멀리 떨어져 있지 않은 경우 리프시츠 볼에 속하는 밀도에 대한 최소최대 엔트로피 추정 속도의 격차를 메우기.
• $s$-홀더 매끄러움 조건 하에서 엔트로피 추정에 대한 날카로운 최소최대 하한 및 상한을 확립하기.
• 오르리츠 노름을 사용하여 유계가 아닌 지지집합을 가진 밀도로 결과를 일반화하기, 특히 서브가우시안 및 서브지수 클래스를 포함하여.
• 커널 밀도 추정과 함께 표준 적분형 플러그인 추정기가 최적 속도를 달성하지 못하는 실패를 보여주기.
• 하디-리틀우드 최대부등식을 통한 피셔 정보에 대한 새로운 부등식을 개발하기, 이는 독립적인 관심을 가질 수 있음.

제안 방법

• 두 단계 추정기 제안: 첫 번째 단계에서 수정된 커널 방법을 사용해 진짜 밀도를 $C^2$ 함수로 근사하고, 두 번째 단계에서 편향 보정을 포함한 플러그인 추정을 통해 엔트로피 추정.
• 첫 번째 단계 근사에서 편향을 제어하기 위해 하디-리틀우드 최대부등식을 적용하며, 특히 밀도가 0에 가까운 경우에 중점을 둔다.
• 최소최대 하한을 도출하기 위해 밀도에 대한 사전을 통한 매개변수 하위모형을 구성하고, 레 카르의 방법과 검정 기반의 추론을 활용한다.
• 디츠안-토틱의 매끄러움 모듈러스를 사용하여 근사 오차를 정량화하고 이를 추정기의 편향과 연결한다.
• 두 번째 단계 추정기의 분산을 농도 부등식과 엔트로피 적분 경계를 통해 분석한다.
• 유계가 아닌 지지집합으로의 속도 일반화를 위해 밀도가 급격히 증가하는 성질(예: 서브가우시안)을 가진 오르리츠 노름이 유계임을 가정하여, 역 오르리츠 함수를 포함하는 추가 요소를 도입한다.

실험 결과

연구 질문

• RQ1 밀도가 0에서 멀리 떨어져 있지 않은 경우 $[0,1]^d$에서 $s$-홀더 매끄러움을 가진 밀도에 대한 엔트로피 추정의 최소최대 속도는 무엇인가?
• RQ2 이 설정에서 표준 적분형 플러그인 추정기와 커널 밀도 추정을 조합한 방법이 최적의 최소최대 속도를 달성할 수 있는가?
• RQ3 밀도가 유계가 아닌 지지집합을 가지지만 오르리츠 노름 조건(급격한 성장)을 만족할 경우 최소최대 속도는 어떻게 변화하는가?
• RQ4 비매끄러운 영역에서 엔트로피 추정의 편향을 제어하는 데 하디-리틀우드 최대부등식이 어떤 역할을 하는가?
• RQ5 분석 과정에서 새로운 피셔 정보에 대한 부등식이 유도되었는가, 그리고 이는 독립적인 관심을 가질 수 있는가?

주요 결과

• $[0,1]^d$에서 $s$-홀더 매끄러움을 가진 밀도에 대한 엔트로피 추정의 최소최대 속도는 $0 < s \leq 2$일 때 $(n\ln n)^{-s/(s+d)} + n^{-1/2}$이며, 밀도에 하한이 필요하지 않다.
• 커널 밀도 추정과 함께 사용되는 표준 적분형 플러그인 추정기는 최적 속도를 달성하지 못하며, 최악의 경우 성능이 엄격히 느리다.
• 유계가 아닌 지지집합과 유계 $\Psi$-오르리츠 노름(예: 서브가우시안)을 가진 밀도의 경우 최소최대 속도는 $(n\ln n)^{-s/(s+d)}(\Psi^{-1}(n))^{d(1-d/p(s+d))} + n^{-1/2}$로 변형되며, 꼬리 행동의 영향을 반영한다.
• 논문은 하디-리틀우드 최대부등식을 통한 피셔 정보에 대한 새로운 부등식을 확립하였으며, 이는 부산물로 도출되었고 다른 비모수 추정 문제에서 유용할 수 있다.
• 하한은 두 개의 철저히 설계된 사전을 사용한 매개변수 하위모형으로 환원하여, 검정 및 정보이론적 추론을 기반으로 유도되었다.
• 분석은 엔트로피 추정의 핵심 과제가 밀도가 0에 가까운 영역에서 편향을 제어하는 데 있음을 드러내며, 이는 새로운 근사 기법과 최대 함수 기법으로 해결된다.