[논문 리뷰] How random are a learner's mistakes?

Joel Ratsaby|arXiv (Cornell University)|2009. 03. 21.

Machine Learning and Algorithms참고 문헌 3인용 수 4

한 줄 요약

이 논문은 순서 $k^*$ 의 고차 Markov 소스에서 생성된 데이터에 대해 순서 $k$ 의 Markov 모델을 사용하는 학습자가 내놓는 예측 오류의 난수성을 분석한다. 오류 빈도가 비트 '1' 의 진정한 정적 확률 $\beta$ 로 수렴함을 보여주는 대규모 이탈 경계를 유도하며, 수렴 속도는 $k$, $m$ (학습 크기), $\nu$ (0 예측 수)에 따라 달라지며, 오류 편향에 대한 확률적 제어를 확립한다.

ABSTRACT

Given a random binary sequence $X^{(n)}$ of random variables, $X_{t},$ $t=1,2,...,n$, for instance, one that is generated by a Markov source (teacher) of order $k^{*}$ (each state represented by $k^{*}$ bits). Assume that the probability of the event $X_{t}=1$ is constant and denote it by $β$. Consider a learner which is based on a parametric model, for instance a Markov model of order $k$, who trains on a sequence $x^{(m)}$ which is randomly drawn by the teacher. Test the learner's performance by giving it a sequence $x^{(n)}$ (generated by the teacher) and check its predictions on every bit of $x^{(n)}.$ An error occurs at time $t$ if the learner's prediction $Y_{t}$ differs from the true bit value $X_{t}$. Denote by $ξ^{(n)}$ the sequence of errors where the error bit $ξ_{t}$ at time $t$ equals 1 or 0 according to whether the event of an error occurs or not, respectively. Consider the subsequence $ξ^{(ν)}$ of $ξ^{(n)}$ which corresponds to the errors of predicting a 0, i.e., $ξ^{(ν)}$ consists of the bits of $ξ^{(n)}$ only at times $t$ such that $Y_{t}=0.$ In this paper we compute an estimate on the deviation of the frequency of 1s of $ξ^{(ν)}$ from $β$. The result shows that the level of randomness of $ξ^{(ν)}$ decreases relative to an increase in the complexity of the learner.

연구 동기 및 목표

• 학습자가 고차 Markov 소스에서 생성된 데이터에 대해 매개변수화된 Markov 모델을 사용할 때 예측 오류의 통계적 행동을 이해하는 것.
• 학습자가 '0' 을 예측할 때 진짜 비트가 '1' 이면 오류 수열이 얼마나 편향되는지, 특히 진짜 정적 확률 $\beta$ 에서의 이탈 측면에서 수량화하는 것.
• 0 예측 하위수열에서 오류 빈도가 $\beta$ 로부터 상당히 이탈할 확률을 통제하는 대규모 이탈 경계를 도출하는 것.
• 학습자가 순서 $k$ 를 사용하지만 진짜 소스가 순서 $k^*$ 인 모델 불일치 상황에서도 오류 빈도의 수렴 보장을 수립하는 것.
• 확률적 경계를 제공하여, 오류 빈도가 $\beta$ 로부터 $\epsilon$ 초과로 이격될 가능성이 $k$, $m$, $\nu$, 신뢰 수준 $\delta$ 의 함수로 얼마나 되는지 밝히는 것.

제안 방법

• 학습자의 예측 오류를 이진 수열 $\xi^{(n)}$ 으로 모델링하며, $\xi_t = 1$ 이면 예측 $y_t \neq x_{m+t}$ 이고, $y_t = 0$ 인 경우에 해당하는 하위수열 $\xi^{(\nu)}$ 에 집중한다.
• 하위수열 $\xi^{(\nu)}$ 의 오류 빈도를 $\|\Xi^{(\nu)}\| / \nu$ 로 정의하며, 여기서 $\|\Xi^{(\nu)}\|$ 는 0 예측 중에서 진짜 비트가 '1' 인 오류 수를 세는 수치이다.
• 대규모 이탈 이론을 사용하여, 이 빈도가 진짜 정적 확률 $\beta = \mathbb{P}(X_t = 1)$ 로부터 $\epsilon$ 초과로 이격될 확률을 지수 尾 꼬리 경계를 통해 유계로 제한한다.
• 오차 빈도의 기대값을 유계로 제한하기 위해 확률 전이 행렬 $M$ 과 대각 행렬 $D_t^2$ 를 포함한 행렬 해석 기법을 적용하여 이차형식 표현을 도출한다.
• 모델 매개변수 추정치에 따라 확률을 분해하고 농도 부등식을 적용하여, $\mathbb{P}(E_{\hat{d},\epsilon}^{(\ell)})$ — 즉, 0 예측 하위수열에서 오류 빈도가 $\beta$ 로부터 $\epsilon$ 초과로 이격될 확률 — 에 대한 경계를 도출한다.
• 모델 추정 오차(예: $\overline{A}_r^{(k)}$ 를 통해)와 오류 빈도 이격(예: $E_{d,\epsilon}^{(\ell)}$ 를 통해)의 경계를 결합하여, $k$, $m$, $\ell$, $\delta$ 의 함수로 $\epsilon$ 에 대한 최종 고확률 경계를 유도한다.

실험 결과

연구 질문

• RQ1 데이터에서 비트 '1' 의 진짜 정적 확률 $\beta$ 로부터 예측 '0' 의 오류 빈도가 상당히 이격될 가능성은 얼마나 되는가?
• RQ2 0 예측에서 오류 빈도가 $\beta$ 로 수렴하는 속도는 무엇이며, 이는 모델 순서 $k$, 학습 크기 $m$, 0 예측 수 $\nu$ 에 따라 어떻게 달라지는가?
• RQ3 학습자가 순서 $k$ 의 모델을 사용하고 있지만 진짜 소스가 순서 $k^*$ 인 상황에서 오류 빈도가 $\beta$ 로부터의 이격에 대해 고확률 경계를 제공할 수 있는가?
• RQ4 학습자의 매개변수 추정 오차는 오류 수열 $\xi^{(\nu)}$ 의 편향에 어떤 영향을 미치는가?
• RQ5 오류 빈도가 $\epsilon$ 이내로 $\beta$ 와 수렴할 가능성이 높은 최소 표본 크기 $m$ 과 0 예측 수 $\nu$ 는 얼마여야 하는가?

주요 결과

• 논문은 오류 빈도가 0 예측에서 $\beta$ 로부터 $\epsilon$ 초과로 이격될 확률이 $2|A_r^{(k)}|\exp\{-2\ell\gamma\epsilon^2\} + \exp\{-2^{k-2}(r/2^k - \rho^{(m)})^2\}$ 이하로 유계임을 입증한다. 여기서 $\ell$ 은 0 예측의 최소 수이다.
• 모든 $\delta > 0$ 에 대해, 이격 $\epsilon$ 은 다음 식으로 상한이 존재한다: $$ \sqrt{\frac{1}{2\ell\gamma}\left(2^k\left(\sqrt{\frac{1}{2^{k-2}}\ln(2/\delta)} + \rho^{(m)}\right)\ln\left(\frac{e}{\sqrt{1/2^{k-2}\ln(2/\delta)} + \rho^{(m)}}\right) + \ln 2 + \ln(4/\delta)\right)} $$ 이 경계는 확률 최소 $1 - \delta$ 로 성립한다.
• 오류 빈도가 $\beta$ 로 수렴하는 속도는 $\ell$ (0 예측 수) 와 $\gamma = \frac{1 - \lambda_0}{1 + \lambda_0}$ 에 의해 제어되며, 여기서 $\lambda_0$ 는 전이 행렬의 두 번째로 큰 고유값이다.
• 오류 빈도 이격에 대한 경계는 학습자가 길이 $m$ 의 학습 시퀀스로부터 모델 매개변수를 추정한다고 가정하고, 측도 집중을 통해 매개변수 추정 오차를 통제함으로써 도출된다.
• 유도된 경계는 모델 추정 오차와 오류 빈도 이격이 동시에 작을 가능성이 높음을 보장하며, 이는 $m$ 이 충분히 크고 $\ell$ 이 충분히 클 경우 성립한다.
• 결과적으로, 학습자가 순서 $k < k^*$ 인 잘못된 모델을 사용하더라도, 충분한 데이터가 확보되어 있으면 0 예측에서 오류 수열이 진짜 $\beta$ 와 확률적으로 가까이 유지됨을 암시한다.