[논문 리뷰] Criticality in Formal Languages and Statistical Physics

Henry W. Lin, Max Tegmark|arXiv (Cornell University)|2016. 06. 21.

Fractal and DNA sequence analysis참고 문헌 31인용 수 30

한 줄 요약

이 논문은 통계역학의 임계성과 형식언어 내 장거리 상관관계 사이의 공식적 연결을 수립하며, 문맥 자유 문법에서 기호 간 상호정보량이 거듭제곱 법칙에 따라 감쇠하는 반면, 정규 문법에서는 지수 감쇠가 일어남을 보여준다. 핵심 결과는 자연어, 음악, 게놈 서열에서 관찰되는 거듭제곱 법칙 상관관계를 설명하는 이론적 유도를 통해 유리 상호정보량을 도출한 것이다.

ABSTRACT

We show that the mutual information between two symbols, as a function of the number of symbols between the two, decays exponentially in any probabilistic regular grammar, but can decay like a power law for a context-free grammar. This result about formal languages is closely related to a well-known result in classical statistical mechanics that there are no phase transitions in dimensions fewer than two. It is also related to the emergence of power-law correlations in turbulence and cosmological inflation through recursive generative processes. We elucidate these physics connections and comment on potential applications of our results to machine learning tasks like training artificial recurrent neural networks. Along the way, we introduce a useful quantity which we dub the rational mutual information and discuss generalizations of our claims involving more complicated Bayesian networks.

연구 동기 및 목표

• 형식언어의 통계적 상관 구조를 조사하고 통계역학의 임계현상과 연관지운다.
• 자연어 시퀀스가 마르코프 모델에서 예상되는 지수 감쇠가 아닌 장거리 거듭제곱 법칙 상관관계를 보이는 이유를 설명한다. 이는 마르코프 모델의 부적합성을 도전한다.
• 장거리 의존성을 정량적으로 측정하기 위한 새로운 척도로 '유리 상호정보량'의 개념을 도입하고 분석한다.
• 문맥 자유 문법이 자연스럽게 거듭제곱 법칙 감쇠를 유도하는 반면, 정규 문법은 지수 감쇠를 초래함을 보여준다.
• 이러한 발견을 난류, 초기 우주 팽창, 순환 신경망에 응용된 기계학습 응용 등 광범위한 현상과 연결한다.

제안 방법

• 심층 구조의 깊이 $ \theta $ 에 대한 계층적 사전확률을 사용한 베이지안 추론을 통해 기호 간 거리 $ d $ 조건 하에 기대 유리 상호정보량 $ I_R $ 을 유도한다.
• 문맥 자유 문법의 이진 분할 특성에 따라 깊이 $ \theta $ 를 조건으로 하는 기호 간 거리 $ d $ 의 분포를 삼각분포로 모델링하며, 평균은 $ 2^{\theta-1} $ 이다.
• $ \theta \neq 0 $ 인 경우 $ p(\theta) \propto 2^\theta $ 를 사전확률로 적용하며, 이는 최대 깊이 $ \theta_{\text{max}} $ 를 통해 정규화되며, 이후 $ \theta_{\text{max}} \to \infty $ 로 한없이 증가시킨다.
• 큰 $ d $ 에 대해 적분 근사를 사용하여 조건부 기대값 $ \bb{E}[2^{-k_2 \theta} \big| d] $ 를 계산하여 거듭제곱 법칙 감쇠 $ I_R \backsim d^{-k_2} $ 를 도출한다.
• 유한한 문자열 길이를 고려한 정확한 이산합 표현식을 제공하며, 이는 수치 시뮬레이션과 정확히 일치한다.
• 유한 표본에서 편향을 최소화하기 위해 digamma 함수를 사용한 Grassberger의 엔트로피 추정기를 활용하여 상호정보량을 실증 데이터로부터 계산한다.

실험 결과

연구 질문

• RQ1 자연어 시퀀스에서 먼 기호 간 상호정보량이 마르코프 모델에서 예상되는 지수 감쇠가 아닌 거듭제곱 법칙 감쇠를 보이는 이유는 무엇인가?
• RQ2 문맥 자유 문법의 재귀적 구조와 통계역학의 임계현상 사이의 형식적 연결은 무엇인가?
• RQ3 확률적 정규 문법과 문맥 자유 문법에서 두 기호 간 상호정보량은 그 거리에 따라 어떻게 감쇠하는가?
• RQ4 유리 상호정보량 개념을 사용하여 시퀀스 생성에서 마르코프 과정과 비마르코프 과정을 정량적으로 구별할 수 있는가?
• RQ5 이러한 발견은 자연어 모델링과 기계학습에서 순환 신경망 훈련에 어떤 함의를 갖는가?

주요 결과

• 확률적 정규 문법에서는 두 기호 간 상호정보량이 거리에 따라 지수 감쇠하며, 이는 마르코프 과정과 일치한다.
• 문맥 자유 문법에서는 상호정보량이 거듭제곱 법칙 $ I_R \backsim d^{-k_2} $ 에 따라 감쇠하며, 여기서 $ k_2 $ 는 문법의 분할 인자와 전이 확률과 관련된 매개변수이다.
• 이론적으로 도출된 유리 상호정보량 $ I_R $ 의 표현식은 유한한 문자열 길이를 고려한 이산합을 사용할 경우 정확히 수치 시뮬레이션과 일치하며, 유한한 문자열 길이로 인한 작은 편차 외에는 일치한다.
• 거듭제곱 법칙 감쇠는 문맥 자유 문법의 계층적 재귀적 구조에서 기인하며, 이는 이징 모델과 같은 2차원 통계역학계에서의 임계현상과 유사하다.
• 유리 상호정보량 추정기 $ I_R(X,Y) = \rho(X,Y)^2 / (P(0)P(1))^2 $ 는 이진 시퀀스에서 장거리 의존성을 강력하고 편향 보정된 방식으로 측정하는 데 유용하다.
• 결과적으로 인공 순환 신경망이 마르코프 과정을 암묵적으로 가정할 경우 자연어의 장거리 의존성을 포착하지 못할 수 있음을 시사한다.