[논문 리뷰] Generative modeling with projected entangled-pair states

Tom Vieijra, Laurens Vanderstraeten외 1명|arXiv (Cornell University)|2022. 02. 16.

Neural Networks and Applications인용 수 9

한 줄 요약

이 논문은 이미지와 같은 2D 데이터셋을 위한 생성 모델링을 위해 투영된 엔트angled-쌍 상태(PEPS)를 제안하며, 그 내재된 2차원 구조를 활용해 공간 상관관계를 효율적으로 포착한다. 이 방법은 로그우도 최대화를 통해 PEPS 웨이브함수를 최적화하는 직접 샘플링 알고리즘을 사용하여, 낮은 결합 차수 조건에서도 MNIST에서 최신 기준을 초월하는 음의 로그우도 점수를 달성한다. 이는 행렬 제품 상태(MPS)와 나무 텐서 네트워크(TTN)를 능가한다.

ABSTRACT

We argue and demonstrate that projected entangled-pair states (PEPS) outperform matrix product states significantly for the task of generative modeling of datasets with an intrinsic two-dimensional structure such as images. Our approach builds on a recently introduced algorithm for sampling PEPS, which allows for the efficient optimization and sampling of the distributions.

연구 동기 및 목표

• 이미지와 같은 2D 데이터를 모델링하는 데에 일차원 텐서 네트워크인 MPS의 한계를 해결하기 위해.
• 자연스럽게 공간 상관관계를 캐릭터라이즈하는 PEPS를 사용해 2D 데이터셋의 효율적 생성 모델링을 가능하게 하기 위해.
• 로그우도 최대화 기반으로 PEPS 웨이브함수를 최적화하기 위한 직접 샘플링 알고리즘을 개발하고 적용하기 위해.
• PEPS가 더 적은 단위당 매개변수를 사용하면서도 MPS 및 TTN보다 더 잘 일반화되는지 입증하기 위해.
• 블록 대각 텐서 분해를 통한 다중모달성 탐지 기반 잠재적인 비지도 군집화 가능성을 탐색하기 위해.

제안 방법

• 국소 에너지 기반 모델을 PEPS 웨이브함수로 재구성하여 버츠만 분포를 표현하기 위해.
• 학습 데이터의 로그우도를 최대화함으로써 PEPS 텐서 네트워크 매개변수를 최적화하는 직접 샘플링 알고리즘을 사용하기 위해.
• PEPS 웨이브함수의 진폭 제곱에서 확률 분포를 구성하여 효율적 샘플링과 최적화를 보장하기 위해.
• 정확한 해가 존재하는 사례(막대와 무늬)와 실제 데이터셋(이진화된 MNIST)에 모두 이 방법을 적용하기 위해.
• PEPS의 다중모달 분해를 활용해 블록 대각 구조를 식별하여 잠재적인 비지도 군집화를 가능하게 하기 위해.
• 일관된 결합 차수 D를 증가시키며 PEPS를 최적화하여 일반화 및 과적합 행동을 연구하기 위해.

실험 결과

연구 질문

• RQ1 PEPS는 이미지와 같은 2D 이미지 데이터의 생성 모델링에서 MPS 및 TTN과 같은 일차원 텐서 네트워크를 능가할 수 있는가?
• RQ2 PEPS의 2차원 구조는 일차원 방법에 비해 공간 상관관계 모델링을 어떻게 향상시키는가?
• RQ3 낮은 결합 차수 조건에서도 PEPS 기반 모델은 MPS보다 더 잘 일반화되고 과적합을 피할 수 있는가?
• RQ4 PEPS 웨이브함수의 다중모달성은 데이터의 비지도 군집화에 활용될 수 있는가?
• RQ5 이미지 데이터셋에 대해 PEPS의 음의 로그우도는 증가하는 결합 차수에 따라 어떻게 스케일링되는가?

주요 결과

• 이진화된 MNIST 테스트 세트에서 PEPS 모델은 결합 차수 D=4일 때 음의 로그우도 91.2를 기록했으며, MPS(101.5), 1D TTN(96.9), 2D TTN(94.3)을 모두 능가했다.
• 단지 5,120개의 매개변수(결합 차수 D=4, 10개 모드)를 사용함에도 불구하고 PEPS는 매개변수 수가 20,000개인 MPS(D=100)보다 더 높은 로그우도를 달성했다.
• PEPS 모델은 과적합의 징후가 전혀 없었으며, MPS는 데이터 수 N_data를 초과하는 D 조건에서 과도한 기억 현상으로 인해 과적합을 겪었다.
• 결합 차수 증가에 따라 로그우도가 지속적으로 향상되는 것으로 나타나, 데이터 분포의 효율적 파arameterization을 보여주며 우수한 일반화 성능을 입증했다.
• 최적화된 PEPS 분포에서 생성된 샘플들은 현실적인 이미지 구조를 보이며 강력한 생성 능력을 입증했다.
• PEPS 웨이브함수의 블록 대각 분해는 기저 분포의 다중모달성 기반 잠재적인 비지도 군집화 메커니즘을 시사한다.