[논문 리뷰] Beyond Maximum Likelihood: from Theory to Practice

Jiantao Jiao, Kartik Venkat외 2명|arXiv (Cornell University)|2014. 09. 26.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 12

한 줄 요약

이 논문은 최대우도추정(MLE)을 근사이론에서 유도된 최소최대률최적추정기로 대체하는 새로운 추정 프레임워크를 제안하며, 고차원 기능 추정에서 성능을 크게 향상시킨다. 이 방법은 MLE가 n ln n 개의 샘플을 필요로 하는 것과 유사한 성능을 오직 n개의 샘플로도 달성하여, 나무 구조 그래픽 모델과 베이지안 네트워크 분류기에서의 학습에 있어 상당한 성과를 보인다.

ABSTRACT

Maximum likelihood is the most widely used statistical estimation technique. Recent work by the authors introduced a general methodology for the construction of estimators for functionals in parametric models, and demonstrated improvements - both in theory and in practice - over the maximum likelihood estimator (MLE), particularly in high dimensional scenarios involving parameter dimension comparable to or larger than the number of samples. This approach to estimation, building on results from approximation theory, is shown to yield minimax rate-optimal estimators for a wide class of functionals, implementable with modest computational requirements. In a nutshell, a message of this recent work is that, for a wide class of functionals, the performance of these essentially optimal estimators with $n$ samples is comparable to that of the MLE with $n \ln n$ samples. In the present paper, we highlight the applicability of the aforementioned methodology to statistical problems beyond functional estimation, and show that it can yield substantial gains. For example, we demonstrate that for learning tree-structured graphical models, our approach achieves a significant reduction of the required data size compared with the classical Chow--Liu algorithm, which is an implementation of the MLE, to achieve the same accuracy. The key step in improving the Chow--Liu algorithm is to replace the empirical mutual information with the estimator for mutual information proposed by the authors. Further, applying the same replacement approach to classical Bayesian network classification, the resulting classifiers uniformly outperform the previous classifiers on 26 widely used datasets.

연구 동기 및 목표

• 표본 크기와 비슷하거나 이를 초월하는 차원 수를 가진 고차원 설정에서 최대우도추정(MLE)의 비최적성 문제를 해결하기 위해.
• 파라미터 모델에서 기능에 대한 최소최대률최적추정기를 체계적으로 구성하는 방법론을 개발하여, MLE의 한계를 넘어서기 위해.
• 그래픽 모델의 구조 학습 및 베이지안 네트워크 기반 분류와 같은 통계적 학습 과제에서 실용적인 성능 향상을 보여주기 위해.
• 경험적 상호정보량을 더 우수한 추정기로 대체함으로써, 동일한 정확도를 달성하기 위한 필수 샘플 수를 크게 줄일 수 있음을 보여주기 위해.
• MLE가 모든 가용한 사전 지식을 포함하는 것처럼 보일지라도 항상 최적이라는 널리 퍼진 가정을 도전하기 위해.

제안 방법

• 근사이론의 결과를 활용하여, 광범위한 기능 클래스에 대해 최소최대률최적인 추정기를 구성한다.
• 차우–류 알고리즘에서 경험적 상호정보량을 고차원 설정에서 편향과 분산을 줄이는 데 기여하는 새로운 추정기로 대체한다.
• 동일한 추정기 대체 기법을 베이지안 네트워크 분류기 적용에 적용하여, 26개의 벤치마크 데이터셋 전반에서 분류 정확도를 균일하게 향상시킨다.
• 편향을 약간 증가시키는 대가로 분산을 줄이는 수축 유사 접근법을 사용하여, 고차원 추정에서 전체 위험을 낮춘다.
• 엔트로피 추정 이론을 활용하여 샘플 복잡도의 하한을 도출하고, 상호정보량에 대한 MLE가 Ω(|X|² / ln|X|) 개의 샘플이 필요하다는 것을 보여준다.
• 이론적 및 실증적 분석을 통해 새로운 추정기가 MLE보다 더 적은 샘플로도 일관성을 확보함을 입증하며, 효율성을 검증한다.

실험 결과

연구 질문

• RQ1 MLE의 편향이 지배적인 고차원 기능 추정에서 체계적인 방법이 MLE를 초월할 수 있는가?
• RQ2 MLE가 n ln n 개의 샘플을 필요로 하는 성능을 오직 n개의 샘플로도 달성할 수 있는 추정기를 구성할 수 있는가?
• RQ3 경험적 상호정보량을 더 나은 추정기로 대체할 경우, 나무 구조 그래픽 모델의 구조 학습에 대한 샘플 복잡도에 어떤 영향을 미치는가?
• RQ4 제안된 추정기는 다양한 실제 데이터셋에서 고전적인 MLE 기반 분류기보다 균일하게 뛰어난 성능을 보일 수 있는가?
• RQ5 일관된 상호정보량 추정에 대한 이론적 샘플 복잡도 하한은 무엇이며, 새로운 추정기는 이와 어떻게 비교되는가?

주요 결과

• 제안된 추정기는 MLE가 n ln n 개의 샘플을 필요로 하는 성능을 오직 n개의 샘플로도 달성하여, 최대 로그 인자 수준의 이론적 성과를 보였다.
• 나무 구조 그래픽 모델 학습에서 수정된 차우–류 알고리즘이 원래 MLE 기반 방법에 비해 필요한 샘플 수를 5배까지 줄였으며, 예를 들어 동일한 정확도를 달성하기 위해 원래 방법이 10,000개가 필요한 데 비해 2,000개로 충분했다.
• 수정된 TAN 분류기는 26개의 널리 사용되는 데이터셋 전반에서 원래 방법보다 균일하게 뛰어난 성능을 보였으며, 스무딩 기법 없이도 낮은 분류 오차를 기록했다.
• 오차 확률 감소 곡선을 분석한 결과, 수정된 분류기는 2,000개의 샘플에서 0.7의 오차 확률에 도달하는 데 반해, 원래 방법은 10,000개의 샘플이 필요했다.
• 이론적 분석을 통해 일관된 상호정보량 추정에 Ω(|X|² / ln|X|) 개의 샘플이 필요하며, 새로운 추정기가 최적의 샘플 복잡도로 이를 달성함을 확인했다.
• 이 방법은 MLE가 고차원에서 비최적임을 입증하였으며, 고도의 추정 기법을 통한 편향 감소가 실질적인 성과 향상에 기여함을 보였다.