[논문 리뷰] Learning, complexity and information density

Joel Ratsaby|ArXiv.org|2009. 08. 31.

Machine Learning and Algorithms참고 문헌 5인용 수 4

한 줄 요약

이 논문은 시스템 비율(sysRatio)로 측정된 기계 학습자의 복잡도가 그 예측 오류의 무작위성에 미치는 영향을 조사한다. 이는 이진 수열에서 학습된 마르코프 모델 학습자를 사용하여 수행되며, sysRatio ≤ ρ*일 경우 오류 시계열이 무작위성에서 낮은 분산과 낮은 알고리즘 복잡도를 보이며, ρ*를 초과하면 이러한 특성이 급격히 증가함을 보여주며, 이는 모델의 과도한 복잡성으로 인한 무작위성 상실을 시사한다.

ABSTRACT

What is the relationship between the complexity of a learner and the randomness of his mistakes? This question was posed in \cite{rat0903} who showed that the more complex the learner the higher the possibility that his mistakes deviate from a true random sequence. In the current paper we report on an empirical investigation of this problem. We investigate two characteristics of randomness, the stochastic and algorithmic complexity of the binary sequence of mistakes. A learner with a Markov model of order $k$ is trained on a finite binary sequence produced by a Markov source of order $k^{*}$ and is tested on a different random sequence. As a measure of learner's complexity we define a quantity called the \emph{sysRatio}, denoted by $ρ$, which is the ratio between the compressed and uncompressed lengths of the binary string whose $i^{th}$ bit represents the maximum \emph{a posteriori} decision made at state $i$ of the learner's model. The quantity $ρ$ is a measure of information density. The main result of the paper shows that this ratio is crucial in answering the above posed question. The result indicates that there is a critical threshold $ρ^{*}$ such that when $ρ\leqρ^{*}$ the sequence of mistakes possesses the following features: (1)\emph{}low divergence $Δ$ from a random sequence, (2) low variance in algorithmic complexity. When $ρ>ρ^{*}$, the characteristics of the mistake sequence changes sharply towards a\emph{}high\emph{$Δ$} and high variance in algorithmic complexity.

연구 동기 및 목표

• 학습자 복잡도와 예측 오류의 무작위성 간의 관계를 조사하는 것.
• 학습자의 구조적 복잡도가 오류 시계열의 확률적 성질에 영향을 미치는지 여부를 규명하는 것.
• 정보 밀도를 캡처하는 데 학습자 복잡도를 나타내는 sysRatio를 도입하고 검증하는 것.
• 학습자 복잡도가 일정 임계 수준을 초과하면 오류 시계열이 무작위성에서 유의미하게 이탈한다는 가설을 경험적으로 검증하는 것.

제안 방법

• 학습자는 순서 k의 마르코프 모델을 사용하여 순서 k*의 마르코프 소스로 생성된 테스트 시계열의 비트를 예측한다.
• sysRatio ρ는 모델 상태 전역에서 최대 사후 결정 시계열의 압축 길이와 압축 해제 길이의 비율로 계산된다.
• 표준 근사 방법을 사용하여 오류 시계열 ξ₀^(n)의 알고리즘 복잡도 ℓ₀와 분산 Δ₀를 추정한다.
• empirical 분석은 모델 순서 k를 변화시켜 ρ를 변화시키며, 다수의 시도 동안 ℓ₀와 Δ₀의 통계적 성질을 측정한다.
• 임계점 ρ*는 ℓ₀와 Δ₀의 분산이 급격히 증가하는 지점으로 정의되며, 이는 오류 시계열의 무작위성에서 단계 전이가 발생함을 시사한다.
• 연구는 학습자의 출력 무작위성에 초점을 맞추며 예측 정확도는 고려하지 않는 블랙박스 시각을 사용한다.

실험 결과

연구 질문

• RQ1 sysRatio로 측정된 학습자 복잡도가 그 예측 오류의 무작위성에 미치는 영향은 무엇인가?
• RQ2 sysRatio에 대해 오류 시계열이 무작위 특성을 상실하는 임계 임계점이 존재하는가?
• RQ3 오류 시계열의 알고리즘 복잡도와 분산은 학습자 복잡도에 따라 어느 정도 변화하는가?
• RQ4 학습자의 모델 순서와 결정 규칙의 정보 밀도(sysRatio) 사이에 구조적 관계가 존재하는가?

주요 결과

• sysRatio ρ ≤ ρ*일 경우 오류 시계열은 무작위 시계열에서 낮은 분산 Δ₀와 낮은 알고리즘 복잡도의 분산을 보이는 임계 임계점 ρ*가 존재한다.
• ρ > ρ*일 경우 오류 시계열의 분산 Δ₀와 알고리즘 복잡도 ℓ₀의 분산이 급격히 증가하여 무작위성 상실을 시사한다.
• ρ*는 진정한 마르코프 소스의 모델 순서 k*와 일치하며, 이는 학습자 복잡도와 데이터 소스 복잡도 사이의 구조적 일치를 나타낸다.
• 모델 순서 k가 k*를 초과해 증가함에 따라 sysRatio ρ는 증가하지만, 확률 추정의 결정론성이 증가함에 따라 결정 벡터 d의 엔트로피는 감소하는 비율로 증가한다.
• sysRatio ρ는 정보 밀도의 강력한 측정치이며, 모델 순서 k만으로 측정하는 것보다 오류의 무작위성 이탈을 더 잘 나타내는 지표임을 입증하였다.
• 결과는 더 높은 학습자 복잡도가 입력의 무작위성을 더 크게 왜곡하며, ρ*에서 급격한 전이가 발생한다는 이론적 예측을 지지한다.