[논문 리뷰] Information theory and learning: a physical approach

Ilya Nemenman|ArXiv.org|2000. 09. 08.

Computability, Logic, AI Algorithms참고 문헌 71인용 수 14

한 줄 요약

이 논문은 시계열에서 과거와 미래 간의 상호정보량으로 정의된 예측 정보를 동역학계와 학습 과정에서의 복잡성의 보편적 척도로 도입한다. 예측 정보의 비율 법칙적 증가가 이전에 연구된 바와는 질적으로 더 복잡한 시스템을 드러내며, 연속 및 이산 확률 분포의 학습을 정규화하기 위해 내재된 오클람 인자(Occam factor)를 갖춘 베이지안 비모수적 방법을 개발하여 데이터만으로 모델 클래스 선택이 가능하게 한다.

ABSTRACT

We try to establish a unified information theoretic approach to learning and to explore some of its applications. First, we define {\em predictive information} as the mutual information between the past and the future of a time series, discuss its behavior as a function of the length of the series, and explain how other quantities of interest studied previously in learning theory - as well as in dynamical systems and statistical mechanics - emerge from this universally definable concept. We then prove that predictive information provides the {\em unique measure for the complexity} of dynamics underlying the time series and show that there are classes of models characterized by {\em power-law growth of the predictive information} that are qualitatively more complex than any of the systems that have been investigated before. Further, we investigate numerically the learning of a nonparametric probability density, which is an example of a problem with power-law complexity, and show that the proper Bayesian formulation of this problem provides for the `Occam' factors that punish overly complex models and thus allow one {\em to learn not only a solution within a specific model class, but also the class itself} using the data only and with very few a priori assumptions. We study a possible {\em information theoretic method} that regularizes the learning of an undersampled discrete variable, and show that learning in such a setup goes through stages of very different complexities. Finally, we discuss how all of these ideas may be useful in various problems in physics, statistics, and, most importantly, biology.

연구 동기 및 목표

• 학습 및 동역학계에서의 복잡성에 대해 통합적이고 물리적으로 타당한 척도로 예측 정보를 정립하기 위해.
• 예측 정보의 비율 법칙적 증가가 이전에 연구된 모델보다 질적으로 더 높은 복잡성을 갖는 시스템을 어떻게 드러내는지 조사하기 위해.
• 연속 확률 밀도를 학습하기 위한 비모수적 프레임워크를 개발하여, 자연스럽게 복잡도를 퇴치하는 오클람 인자를 포함시키기 위해.
• 부족한 표본 수가 있는 이산 변수의 학습에 정보 이론적 정규화를 적용하여 모델 복잡도를 데이터 기반으로 선택할 수 있도록 하기 위해.
• 데이터 자체가 최적의 부드러움 척도와 정규화 파라미터를 선택할 수 있으며, 사전 가정에 대한 의존도를 최소화하기 위해.

제안 방법

• 예측 정보를 시계열의 과거 및 미래 세그먼트 간의 상호정보량으로 정의하여 예측 가능성과 복잡성의 핵심 척도로 삼는다.
• 비모수적 밀도 추정에서 장 이론적 사전분포를 사용하여 부드러움 척도 $ l $ 에 따라 의존하는 효과적 해밀토니안(효과적 해밀토니안)을 유도한다.
• 경로 적분 방법과 복소 평면 상의 윤곽 적분을 사용하여 비모수적 학습 문제의 상관 함수 및 분할 함수를 계산한다.
• 과도하게 복잡한 모델을 퇴치하는 변동성 행렬식(오클람 인자)을 포함하는 효과적 작용을 유도하며, 이는 부드러움 척도에 대한 마진화를 통해 모델 클래스 선택이 가능하게 한다.
• 데이터 자체의 구조를 사용하여 정규화 파라미터 $ heta $ (또는 $ heta^* $)를 데이터 기반으로 선택하여 외부 가정에 의존하지 않는다.
• 이산 분포에 대한 딜레트 분포 사전분포를 사용한 단순 모형을 도입하여 효과적 작용의 행동을 분석하고 최적의 정규화 파라미터 $ heta^* $ 를 유도한다.

실험 결과

연구 질문

• RQ1 예측 정보는 동역학계와 학습 과정에서 보편적이고 물리적으로 타당한 복잡성 척도로 기능할 수 있는가?
• RQ2 예측 정보의 비율 법칙적 증가가 전통적 통계역학이나 학습 이론에서 연구된 바와는 질적으로 더 높은 복잡성을 갖는 시스템을 어떻게 드러내는가?
• RQ3 적절한 사전분포를 갖춘 베이지안 비모수적 학습은 외부 가정 없이도 자연스럽게 오클람의 날카로운 도구를 적용할 수 있는가?
• RQ4 데이터가 부족한 상황에서 정보 이론적 정규화는 어떻게 이산 확률 분포를 학습하는 데 사용될 수 있는가?
• RQ5 비모수적 학습에서 데이터 자체가 최적의 부드러움 척도 또는 정규화 파라미터를 결정할 수 있는가? 이는 사전 지식에 대한 의존도를 최소화하는가?

주요 결과

• 예측 정보는 통계 모델과 동역학계의 복잡성을 유일하게 특성화하며, 비율 법칙적 증가는 지수적 또는 로그적 증가보다 질적으로 더 높은 복잡성을 나타낸다.
• 비모수적 밀도 추정에서 장 이론적 사전분포를 사용한 베이지안 설정은 변동성 행렬식(오클람 인자)을 포함하는 효과적 해밀토니안을 유도하며, 이는 자연스럽게 복잡한 모델을 퇴치한다.
• 최적의 부드러움 척도 $ l^* $ 는 부드러운 목표 밀도에 대해 $ N^{1/3} $ 과 비례함을 발견하였으며, 이는 최소 기술 길이 원칙과 오클람의 날카로운 도구와 일치한다.
• 사전분포가 잘못되었더라도, 데이터가 충분히 정보를 지닌다면 베이지안 프레임워크는 여전히 일관된 학습 결과를 도출할 수 있다.
• 이산 변수 학습에서는 데이터를 사용하여 최적의 정규화 파라미터 $ heta^* $ 를 선택할 수 있으며, 수치 결과는 $ heta^* $ 가 목표 분포의 집합에 적응함을 보여준다.
• 이 방법은 특정 모델 뿐 아니라 데이터와 최소한의 사전 가정만으로도 모델 클래스 자체를 학습할 수 있게 하며, 특히 표본 수가 적은 영역에서 유용하다.