[논문 리뷰] The effect of linguistic constraints on the large scale organization of language

M. V. Rama Krishna, Ahmed Hassan Awadallah외 2명|arXiv (Cornell University)|2011. 02. 14.

Natural Language Processing Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 네 종류의 언어에서 자연어 텍스트와 무작위 텍스트를 비교함으로써 언어적 제약 조건이 언어 네트워크의 거시적 위상 구조에 어떻게 영향을 미치는지 조사한다. 심지어 무작위 텍스트조차도 단어 빈도 분포의 영향으로 인해 소월(world)성과 스케일프리 성질을 보이며, 이러한 네트워크 특성이 언어적 조직의 본질적 반영이라는 가정을 도전한다. 주요 기여는 많은 네트워크 통계치가 언어적 구조가 아니라 배경 빈도 분포의 산물이라는 것을 입증한 데 있다.

ABSTRACT

This paper studies the effect of linguistic constraints on the large scale organization of language. It describes the properties of linguistic networks built using texts of written language with the words randomized. These properties are compared to those obtained for a network built over the text in natural order. It is observed that the "random" networks too exhibit small-world and scale-free characteristics. They also show a high degree of clustering. This is indeed a surprising result - one that has not been addressed adequately in the literature. We hypothesize that many of the network statistics reported here studied are in fact functions of the distribution of the underlying data from which the network is built and may not be indicative of the nature of the concerned network.

연구 동기 및 목표

• 언어적 제약 조건이 언어 네트워크의 거시적 위상적 조직에 어떻게 영향을 미치는지 조사하는 것.
• 언어 네트워크에서의 소월성과 스케일프리 특성이 언어적 구조 때문인지, 단어 빈도의 통계적 산물 때문인지 규명하는 것.
• 자연어 텍스트, 무작위 텍스트, 다양한 수준의 언어적 제약 조건 간의 네트워크 성질을 비교하는 것.
• 단어 빈도가 클러스터링, 차수 분포, 할당성과 같은 네트워크 통계치를 어떻게 형성하는지 평가하는 것.
• 직경과 클러스터링과 같은 네트워크 성질이 차수 분포의 기능인지, 언어적 구조의 기능인지 평가하는 것.

제안 방법

• 영어, 프랑스어, 스페인어, 중국어에서 텍스트의 공현 및 빈번한 이어짐(콜로케이션) 관계를 사용하여 언어 네트워크를 구축하였다.
• 단어 빈도를 유지하면서 텍스트를 무작위로 재배열하는 일관된 무작위 순열 알고리즘을 적용하여 무작위 코퍼스를 생성하였다.
• 빈번한 이어짐 네트워크를 위해 피셔의 정확 검정을 사용하여 통계적으로 유의미한 단어 쌍을 식별하였다.
• 차수 분포를 유지하는 네트워크 랜덤화 기법을 사용하여 어순의 영향을 분리하였다.
• 모ор포로직적 변형을 줄이고 다국어 간 비교 가능성을 높이기 위해 어간화를 수행하였다.
• 차수 분포, 클러스터링 계수, 직경, 차수 상관관계(할당성)와 같은 네트워크 성질을 분석하였다.

실험 결과

연구 질문

• RQ1 무작위 텍스트 역시 소월성과 스케일프리 성질을 갖는 네트워크를 생성하는가?
• RQ2 클러스터링과 직경과 같은 네트워크 통계치가 언어적 구조가 아니라 단어 빈도 분포의 영향을 받는 정도는 어느 정도인가?
• RQ3 텍스트의 랜덤화가 언어 네트워크의 차수 분포와 할당성에 어떤 영향을 미치는가?
• RQ4 언어 네트워크의 허브가 무작위 텍스트조차도 단어 빈도에 의해 주로 결정되는가?
• RQ5 자연어 네트워크에서 관찰된 네트워크 특성은 단어 빈도의 통계적 성질만으로 설명될 수 있는가?

주요 결과

• 무작위 텍스트 네트워크도 소월성과 스케일프리 성질을 보이며, 이러한 특성이 자연어에만 국한되지 않음을 시사한다.
• 무작위 네트워크의 클러스터링 계수(예: 영어 RANDOC의 0.6345)는 여전히 높아, 클러스터링이 언어적 구조가 아니라 빈도 분포에 의해 주도됨을 시사한다.
• 실제 네트워크와 무작위 네트워크 양쪽 모두에서 차수 분포가 등급 법칙을 따르며, R² = 0.89로 나타나 단어 빈도와 차수 사이에 강한 상관관계가 있음을 보여준다.
• 정규화된 평균 근접 이웃 차수는 정점의 차수 증가와 함께 감소하여, 모든 네트워크(무작위 네트워크 포함)에서 비할당성 혼합이 나타남을 보여준다.
• 영어 네트워크에서 차수 순위 상위 10개의 단어(예: 'the', 'of', 'and')는 빈도 순위 상위 10개 단어와 거의 일치하여, 빈도에 의해 주도되는 허브 형성 구조를 확인한다.
• 무작위 네트워크에서의 직경과 클러스터링 계수는 언어적 제약 조건이 아니라 차수 분포의 영향을 크게 받는다.