[논문 리뷰] Tensor networks and efficient descriptions of classical data

Sirui Lu, Márton Kanász-Nagy외 2명|arXiv (Cornell University)|2021. 03. 11.

Tensor decomposition and applications참고 문헌 80인용 수 10

한 줄 요약

이 논문은 텍스트 및 이미지 데이터셋에서 상호정보량(MI)의 척도법을 분석함으로써 텐서 네트워크(TN) 방법의 확장성에 대해 조사한다. 자동회귀 및 컨volutional 신경망 기반의 MI 추정기들을 사용하여, 텍스트는 거의 체적법칙(MI) 척도법(ν ≈ 1)을 보이며, 이는 MPS와 같은 효율적인 1차원(TN)을 배제함을 시사하고, 이미지는 면적법칙 척도법을 보이며, PEPS와 같은 2차원(TN)의 효율적 표현을 지지함을 밝혀냄.

ABSTRACT

We investigate the potential of tensor network based machine learning methods to scale to large image and text data sets. For that, we study how the mutual information between a subregion and its complement scales with the subsystem size $L$, similarly to how it is done in quantum many-body physics. We find that for text, the mutual information scales as a power law $L^ν$ with a close to volume law exponent, indicating that text cannot be efficiently described by 1D tensor networks. For images, the scaling is close to an area law, hinting at 2D tensor networks such as PEPS could have an adequate expressibility. For the numerical analysis, we introduce a mutual information estimator based on autoregressive networks, and we also use convolutional neural networks in a neural estimator method.

연구 동기 및 목표

• 이미지 및 텍스트와 같은 고전적 데이터를 효율적으로 표현할 수 있는지 평가하기 위해.
• 자연적 데이터에서 부분 영역과 그 보완 영역 간의 상호정보량(MI) 척도 행동을 규명하기 위해.
• MI 척도법에 기반하여 이미지 및 텍스트 데이터 표현에 적합한 1차원 및 2차원 텐서 네트워크(MPS, PEPS 등)의 적합성을 평가하기 위해.
• 고차원 데이터에서 정확한 MI 추정을 위해 신경망 기반의 MI 추정기를 개발하고 적용하기 위해.
• MI 척도법과 텐서 네트워크 표현력 간의 연관성을 통해 효율적인 기계학습 모델 설계를 이끌어내기 위해.

제안 방법

• 고차원 데이터에서 MI를 추정하기 위해 자동회귀 신경망 기반의 상호정보량 추정기를 제안함.
• 이미지 분할의 MI를 계산하기 위해 신경추정기 프레임워크 내에서 컨볼루션 신경망을 활용함.
• 편향 보정을 위해 재척도 조정된 k-최근접 이웃(kNN)을 기준 추정기로 사용함.
• MNIST 이미지에 대해 이동 불변성을 적용하여 가장자리 효과를 제거하고 MI 추정 정확도를 향상시킴.
• 이미지 데이터셋에서 중심 대 주변, 상단 대 하단 등의 다양한 영역 분할에 대해 MI 척도를 분석함.
• 양자 many-body 물리학에서의 이론적 기대치(면적법칙 및 체적법칙 등)와 관측된 MI 척도를 비교함.

실험 결과

연구 질문

• RQ1 텍스트 데이터에서 부분 영역과 그 보완 영역 간의 상호정보량이 거듭제곱 법칙으로 척도가 되는가? 그 지수 ν는 무엇인가?
• RQ2 이미지 데이터는 면적법칙 또는 체적법칙의 상호정보량 척도를 보이며, 이는 2차원 텐서 네트워크의 적용 가능성에 어떤 영향을 미치는가?
• RQ3 신경망 기반의 MI 추정기는 고차원 고전적 데이터에서 MI 척도를 정확하게 포착할 수 있는가?
• RQ4 유사한 거듭제곱 법칙 상관관계를 보이는 비록 비판적 양자 시스템과 비교할 때 자연어의 MI 척도는 어떻게 다른가?
• RQ5 MI 척도법은 기계학습 모델에서 텐서 네트워크 아키텍처 선택에 어떤 함의를 지닌다?

주요 결과

• 텍스트 데이터는 지수 ν ≈ 1인 거듭제곱 법칙 척도법을 보이며, 이는 거의 체적법칙 척도법임을 시사하며, 이는 MPS와 같은 1차원 텐서 네트워크에 의한 효율적 표현이 불가능함을 배제함.
• 이동 불변성을 부여한 MNIST 이미지 데이터는 명확한 면적법칙 척도법을 보이며, 이는 PEPS와 같은 2차원 텐서 네트워크를 이용한 이미지 표현에 적합함을 지지함.
• 패션-MNIST 및 CIFAR-10 데이터셋은 혼합된 결과를 보였음: 중심-주변 분할은 면적법칙을 따르지만, 상하 분할은 면적법칙을 초월하는 빠른 척도법을 보이며, 더 복잡한 상관관계를 시사함.
• 텍스트에서 관측된 거의 체적법칙의 MI 척도법은 비록 임계 시스템에서 예상되는 로그형 MI 척도법과는 다름을 보이며, 이는 텍스트에서 거듭제곱 법칙 상관관계가 비록 임계 유사 MI 행동을 유도하지는 않음을 시사함.
• 간단한 토이 모델을 통해 고전적 분포에서 대수적 상관관계가 반드시 로그형 MI 척도법을 유도하지는 않음을 입증함으로써, 언어의 나무 구조 모델에서의 가정에 도전함.
• 결과적으로, 이미지 및 텍스트와 같은 복잡한 데이터의 효율적 모델링을 위해 더 일반화된 텐서 네트워크 아키텍처 또는 TN과 신경망을 조합한 하이브리드 모델이 필요함을 시사함.