[논문 리뷰] Learning Theory Approach to Minimum Error Entropy Criterion

Ting Hu, Jun Fan외 2명|arXiv (Cornell University)|2012. 08. 03.

Neural Networks and Applications참고 문헌 24인용 수 78

한 줄 요약

이 논문은 파르젠 창 방법을 사용한 경험 위험 최소화 접근법을 분석하여, 레니의 2차 순서 엔트로피를 사용한 최소 오차 엔트로피(MEE) 알고리즘에 대해 처음으로 엄밀한 일致성 결과를 확립한다. $ h $가 적절한 비율로 무한대에 수렴할 때 MEE 알고리즘이 일치함을 증명하며, 엔트로피 기반 학습의 비제곱성으로 인한 기술적 과제를 극복한다.

ABSTRACT

We consider the minimum error entropy (MEE) criterion and an empirical risk minimization learning algorithm in a regression setting. A learning theory approach is presented for this MEE algorithm and explicit error bounds are provided in terms of the approximation ability and capacity of the involved hypothesis space when the MEE scaling parameter is large. Novel asymptotic analysis is conducted for the generalization error associated with Renyi's entropy and a Parzen window function, to overcome technical difficulties arisen from the essential differences between the classical least squares problems and the MEE setting. A semi-norm and the involved symmetrized least squares error are introduced, which is related to some ranking algorithms.

연구 동기 및 목표

• 비정규 잡음 환경에서의 지도 학습에 적합한 최소 오차 엔트로피(MEE) 기준에 대한 이론적 기반을 확립하기 위해.
• 실제로 널리 사용되지만 이론적으로는 잘 이해되지 않는 MEE 알고리즘에 대한 일치성 결과가 부족한 문제를 해결하기 위해.
• 파르젠 창 방법의 스케일링 파rameter $ h $가 클 때 MEE 알고리즘의 거동을 분석하기 위해, 이는 경험적으로 성능 향상을 보여주기 때문이다.
• 정보이론적 학습과 전통적 학습 이론 간 격차를 메우기 위해, 가설 공간의 근사화 및 용량 특성에 기반한 수렴 속도를 도출하기 위해.

제안 방법

• 레니의 2차 순서 엔트로피에서 유도된 엔트로피 기반 손실 함수를 사용한 경험 위험 최소화(ERM)를 사용한다.
• 핵함수 $ G $ 를 사용한 파르젠 창 방법을 통해 오차 밀도 $ p_E $ 를 추정하며, 이에 스케일링 파arameter $ h $ 를 도입한다.
• 일반화 오차를 분석하기 위해 대칭화된 최소 제곱 오차를 대체로 도입하여 MEE를 랭킹 알고리즘과 연결한다.
• 커버링 수와 근사 오차 조건을 적용하여, 가설 공간의 용량과 근사 능력에 기반한 일반화 오차의 상한을 도출한다.
• U통계량과 농도 부등식을 사용하여 경험 위험과 진짜 위험 간의 편차를 제어하며, 특히 꼬리가 두꺼운 반응 변수에 대해 유용하다.
• 반응 변수 $ Y $ 에 대해 모멘트 조건을 부과하며, $ \mathbb{E}[|Y|^q] < \infty $ 와 창 함수 $ G $ 의 감쇠 조건을 포함한다.

실험 결과

연구 질문

• RQ1 밀도 추정에 일반적으로 더 작은 $ h $ 가 필요한 바, 파르젠 창 스케일링 파arameter $ h \to \infty $ 일 때 MEE 알고리즘이 일치함을 증명할 수 있는가?
• RQ2 MEE 알고리즘의 일반화 오차는 근사 오차와 가설 공간의 용량에 대해 어떻게 행동하는가?
• RQ3 MEE 기준과 랭킹 알고리즘에서 사용되는 대칭화된 최소 제곱 오차 간의 관계는 무엇인가?
• RQ4 이 이론적 프레임워크는 샤논 엔트로피 또는 $ \alpha \neq 2 $ 인 레니의 엔트로피로 확장 가능한가?
• RQ5 $ h \to 0 $ 일 때도 일치성이 달성 가능한가, 아니면 이론적 안정성 확보를 위해 대규모 $ h $ 영역이 본질적으로 필요한가?

주요 결과

• 스케일링 파arameter $ h \to \infty $ 일 때, 근사 오차와 용량 항을 균형 있게 유지하는 비율로 MEE 알고리즘이 일치함을 입증하며, 수렴 속도는 $ O(m^{-1/(2+p)}) $ 이다. 여기서 $ p $ 는 커버링 수의 거듭제곱 지수이다.
• 일반화 오차는 근사 오차 $ \mathcal{D}_{\mathcal{H}}(f_\rho) $ 와 커버링 수 $ \mathcal{N}(\mathcal{H}, \varepsilon) $ 에 의존하는 항의 합으로 상한이 주어지며, $ \log(2/\delta) $ 를 포함한 명시적인 고확률 상한이 제시된다.
• 대칭화된 최소 제곱 오차가 도입되고 분석되었으며, $ h \to \infty $ 일 때 MEE 목표함수와의 차이가 0으로 수렴함을 보여 MEE를 랭킹 기반 학습과 연결한다.
• 중심 잡음에 대한 수렴 속도를 보장하기 위해 투영 연산자 $ \pi_{\sqrt{m}} $ 가 사용되었으며, 이는 투영된 반응의 기대값이 진짜 회귀 함수로 $ O(1/\sqrt{m}) $ 속도로 수렴함을 보장한다.
• 이 논문은 문헌에서 MEE 알고리즘에 대해 처음으로 엄밀한 일치성 결과를 확립하며, 오랫동안 존재하던 이론적 격차를 해소한다.
• 분석은 레니의 엔트로피 순서 $ \alpha = 2 $ 로 제한되며, 추가 가정 없이 다른 $ \alpha \neq 2 $ 로는 결과가 확장되지 않는다.