[논문 리뷰] Information, learning and falsification

David Balduzzi|arXiv (Cornell University)|2011. 10. 17.

Computability, Logic, AI Algorithms참고 문헌 6인용 수 3

한 줄 요약

이 논문은 알고리즘적 정보, 샤논 정보, 그리고 VC-엔트로피와 라데마처 복잡도와 같은 통계학적 학습 능력 간의 연결고리로 계산 가능한, 비보편적인 콜모고로프 복잡도의 유사체인 효과적 정보를 도입한다. 이는 시스템의 출력 카테고리의 날카움을 기반으로 정보를 정량화한다. 알고리즘적 정보, 샤논 정보, VC-엔트로피 및 라데마처 복잡도와 같은 학습 능력과 연결함으로써, 효과적 정보는 정보의 증가와 가설의 반증을 측정하며, 물리적 시스템과 인과 추론에 기반한 통합된 프레임워크를 제공한다.

ABSTRACT

There are (at least) three approaches to quantifying information. The first, algorithmic information or Kolmogorov complexity, takes events as strings and, given a universal Turing machine, quantifies the information content of a string as the length of the shortest program producing it. The second, Shannon information, takes events as belonging to ensembles and quantifies the information resulting from observing the given event in terms of the number of alternate events that have been ruled out. The third, statistical learning theory, has introduced measures of capacity that control (in part) the expected risk of classifiers. These capacities quantify the expectations regarding future data that learning algorithms embed into classifiers. This note describes a new method of quantifying information, effective information, that links algorithmic information to Shannon information, and also links both to capacities arising in statistical learning theory. After introducing the measure, we show that it provides a non-universal analog of Kolmogorov complexity. We then apply it to derive basic capacities in statistical learning theory: empirical VC-entropy and empirical Rademacher complexity. A nice byproduct of our approach is an interpretation of the explanatory power of a learning algorithm in terms of the number of hypotheses it falsifies, counted in two different ways for the two capacities. We also discuss how effective information relates to information gain, Shannon and mutual information.

연구 동기 및 목표

• 알고리즘적 정보(콜모고로프 복잡도), 샤논 정보, 그리고 통계적 학습 이론 능력 간의 개념적·정량적 격차를 메우기 위해.
• 콜모고로프 복잡도의 비계산성 문제를 피하면서도 그 핵심 통찰인 정보의 최소 기술 길이 개념을 유지하는 계산 가능한 정보 측정법을 개발하기 위해.
• 예측 오차 최소화와 같은 학습 과정을, 가설 반증을 통해 정보를 생성하는 물리적 시스템으로 해석하기 위해.
• 효과적 정보로부터 예비 VC-엔트로피와 라데마처 복잡도가 자연스럽게 유도됨을 보여줌으로써, 정보 이론과 학습 이론의 핵심 개념을 통합하기 위해.
• 학습 알고리즘이 출력한 결과에 의해 제거된 가설의 수를 기반으로 정보 증가와 반증의 인과적·물리적 해석을 제공하기 위해.

제안 방법

• 실제 레퍼토리(출력에 대한 입력의 사후확률)와 입력에 대한 균일한 사전확률 간의 칼리브-라이블러 발산으로 효과적 정보를 정의한다: $ ei(\mathfrak{m},y) = D[\hat{p}_{\mathfrak{m}}(X|y) \| p_{\text{unif}}(X)] $.
• 확정적 시스템 $ f: \mathcal{X} \to \mathcal{Y} $ 에서 효과적 정보는 $ ei(f,y) = \log_2|\mathcal{X}| - \log_2|f^{-1}(y)| $ 로 간소화되며, 이는 역상의 크기의 역수를 측정한다.
• 보편 터미네이트 머신 대신 물리적 시스템 $ f $ 를 사용하여 콜모고로프 복잡도의 비보편적 유사체를 수립하며, 이 경우 효과적 정보는 $ ei(f,y) = -\log_2 p_f(y) $ 가 되며, 여기서 $ p_f(y) $ 는 출력 $ y $ 의 효과적 확률이다.
• 학습 이론에서 예측 오차 최소화에 이 프레임워크를 적용하여, 레이블링에서 예측 오차로의 사상으로서의 학습 알고리즘 $ \mathfrak{L}_{\mathcal{F},\mathcal{D}} $ 를 물리적 시스템으로 모델링한다.
• 예비 VC-엔트로피가 $ l - \text{효과적 정보} $ 와 같음을 보이며, 여기서 $ l $ 은 데이터 포인트의 수이므로, 이는 효과적 정보가 반증된 가설의 수를 측정함을 의미한다.
• 상호정보량이 출력 분포에 대한 효과적 정보의 기대값임을 도출함으로써, 샤논 정보와 효과적 정보를 통합한다.

실험 결과

연구 질문

• RQ1 비계산성 문제를 피하면서도 알고리즘적 정보의 核심 통찰인 최소 기술 길이 개념을 유지하는 계산 가능한 정보 측정법을 어떻게 구성할 수 있는가?
• RQ2 효과적 정보는 알고리즘적 정보, 샤논 정보, 그리고 VC-엔트로피 및 라데마처 복잡도와 같은 통계적 학습 능력을 어떻게 통합하는가?
• RQ3 예측 오차 최소화 과정에서 생성된 효과적 정보는 학습 과정이 반증한 가설의 수와 어떤 관계가 있는가?
• RQ4 효과적 정보는 분류기의 일반화 성능을 설명하는 데 사용될 수 있는 물리적·인과적 정보 증가 측정법이 될 수 있는가?
• RQ5 포퍼의 과학 이론 평가 기준에 따른 반증의 관점에서, 효과적 정보와의 관계는 무엇인가?

주요 결과

• 효과적 정보는 콜모고로프 복잡도의 비보편적 유사체로서 계산 가능하며, $ ei(f,y) = -\log_2 p_f(y) $ 로 표현되며, 여기서 $ p_f(y) $ 는 확정적 시스템 $ f $ 에서 출력 $ y $ 의 효과적 확률이다.
• 확정적 함수 $ f $ 에서 효과적 정보는 $ ei(f,y) = \log_2|\mathcal{X}| - \log_2|f^{-1}(y)| $ 로 표현되며, 더 날카롭고 작은 역상은 더 높은 정보를 의미한다.
• 예비 VC-엔트로피는 $ l - \text{효과적 정보} $ 와 같으며, 여기서 $ l $ 은 데이터 포인트의 수이므로, 이는 효과적 정보가 반증된 가설의 수를 측정함을 의미한다.
• 예비 라데마처 복잡도 역시 효과적 정보로 표현 가능하며, 이는 이 능력이 가설 반증을 통한 정보 증가로 새롭게 해석됨을 보여준다.
• 샤논 엔트로피와 상호정보량은 각각 균일 분포와 채널 유도 분포에 대한 효과적 정보의 기대값으로 유도되며, 이는 샤논 정보와 효과적 정보를 통합한다.
• 이 프레임워크는 정보 증가를 학습 알고리즘이 제거한 가설의 수로 해석하며, 포퍼의 반증주의 과학 이론 평가 기준과 일치한다.