[논문 리뷰] Tensor Networks for Probabilistic Sequence Modeling

Jacob Miller, Guillaume Rabusseau외 1명|arXiv (Cornell University)|2020. 03. 02.

Tensor decomposition and applications참고 문헌 42인용 수 5

한 줄 요약

이 논문은 확률적 시퀀스 모델링을 위한 균일한 행렬 곱 상태(u-MPS) 모델을 소개한다. 텐서 네트워크 구조를 활용하여 시퀀스의 O(log n) 깊이 병렬 평가를 가능하게 하고, 임의의 정규표현식에 조건부로 시퀀스를 생성하는 새로운 재귀적 샘플링 알고리즘을 개발한다. 이 방법은 제한된 데이터에서 최신 기술 수준의 일반화 성능을 달성하며, 새로운 형태의 구조화된 생성과 정규화를 가능하게 한다.

ABSTRACT

Tensor networks are a powerful modeling framework developed for computational many-body physics, which have only recently been applied within machine learning. In this work we utilize a uniform matrix product state (u-MPS) model for probabilistic modeling of sequence data. We first show that u-MPS enable sequence-level parallelism, with length-n sequences able to be evaluated in depth O(log n). We then introduce a novel generative algorithm giving trained u-MPS the ability to efficiently sample from a wide variety of conditional distributions, each one defined by a regular expression. Special cases of this algorithm correspond to autoregressive and fill-in-the-blank sampling, but more complex regular expressions permit the generation of richly structured data in a manner that has no direct analogue in neural generative models. Experiments on sequence modeling with synthetic and real text data show u-MPS outperforming a variety of baselines and effectively generalizing their predictions in the presence of limited data.

연구 동기 및 목표

• 비선형 활성화 함수를 피하는 텐서 네트워크 기반의 미분 가능 시퀀스 모델을 개발한다.
• u-MPS를 사용하여 장수열의 매우 병렬적인 평가를 실현하고, 평가 깊이를 O(log n)으로 구현한다.
• 임의의 정규표현식에 조건부로 시퀀스를 생성하는 재귀적 샘플링 알고리즘을 설계하여, 자동회귀나 빈칸 채우기 생성을 넘어서는 확장성을 확보한다.
• 정규표현식 제약 조건을 통한 패턴 매칭에 대한 페널티 또는 인cent라이브를 적용하여 시퀀스 모델링에서 새로운 정규화 기법을 탐색한다.
• 합성 및 실제 텍스트 데이터 세트에서 뛰어난 일반화 능력과 구조화된 생성 기능을 입증한다.

제안 방법

• 모델은 비선형 활성화 함수가 없는 균일한 행렬 곱 상태(u-MPS)를 사용하여, 곱셈형 텐서 상호작용에 기반한 미분 가능한 시퀀스 모델로 구성된다.
• u-MPS는 시퀀스 데이터에서 Adam 최적화기를 사용하여 음의 로그우도 손실을 기반으로 경사하강법으로 훈련된다.
• 새로운 재귀적 샘플링 알고리즘인 REGSAMP는 정규표현식 R에 조건부로 u-MPS 분포에서 비편향된 샘플을 생성하기 위해 R을 하위 표현식으로 재귀적으로 분해하고, 해당 전이 연산자에서 샘플링한다.
• 이 알고리즘은 u-MPS 전이 연산자와 정규표현식의 구조 간의 대응 관계를 활용하여, Σ*tΣ* 또는 R1|R2와 같은 복잡한 정규표현식 패턴에 대해서도 효율적인 샘플링을 가능하게 한다.
• 훈련 목표를 수정하여 주어진 정규표현식과 일치하는 시퀀스를 선호하거나 페널티를 주는 방식으로 정규화를 지원하며, 편향 완화 및 코드 생성 등 응용 가능하다.
• JAX의 JIT 컴파일을 사용하여 일반 목적의 정규표현식 샘플링 구현의 계산 오버헤드를 최소화한다.

실험 결과

연구 질문

• RQ1 u-MPS 모델은 장수열의 효율적인 병렬 평가를 달성할 수 있으며, 이러한 평가의 이론적 깊이 복잡도는 무엇인가?
• RQ2 u-MPS 모델은 임의의 정규표현식에 조건부로 시퀀스를 생성할 수 있으며, 이는 표준 자동회귀 또는 빈칸 채우기 샘플링을 넘어서 어떤 방식으로 일반화되는가?
• RQ3 제한된 데이터에서 훈련된 u-MPS 모델은 비국소 상관관계가 있는 경우에 장수열로의 일반화 능력이 어떻게 되는가?
• RQ4 정규표현식 조건부 샘플링과 정규화는 이메일 주소 생성 또는 편향 완화와 같은 실제 텍스트 생성 작업에 효과적으로 적용될 수 있는가?
• RQ5 다양한 정규표현식 구조에서 재귀적 샘플링 알고리즘의 계산 및 메모리 효율성은 어떠한가?

주요 결과

• u-MPS 모델은 길이 n인 시퀀스를 O(log n) 깊이로 평가하여, 매우 병렬적인 추론과 훈련을 가능하게 하며, 기존 RNN보다 크게 향상된 성능을 보인다.
• 재귀적 샘플링 알고리즘인 REGSAMP는 임의의 정규표현식 R에 조건부로 비편향된 샘플을 효율적으로 생성하며, Σ*tΣ* 또는 R1|R2와 같은 복잡한 패턴에도 적용 가능하다. 실행 시간은 O(L_R d D^3)이며, 메모리는 O(L_R D^2)이다.
• 합성 토미타 문법 데이터셋에서 u-MPS 모델은 LSTMs와 트랜스포머보다 샘플링 및 문자열 완성 작업 모두에서 뛰어난 성능을 보였으며, 특히 훈련 데이터가 제한된 경우(1,000개 대비 10,000개의 문자열) 두드러진 성능을 보였다.
• 모델은 훈련 시퀀스 길이를 초월하여 비국소 상관관계(예: 짝수성, 균형 제약)를 성공적으로 일반화하여 강력한 인덕티브 바이어스를 보였다.
• 실제 이메일 주소 생성 작업에서, u-MPS 모델은 조건부로 샘플링된 문자열의 98.7%가 정규표현식 R_e = [\w-.]+@([\w-]+.)*[\w-][\w-]+에 부합하여 높은 정확도를 달성했다.
• JAX의 JIT 컴파일을 활용하여 일반 목적의 정규표현식 샘플링 알고리즘의 오버헤드를 감소시켜 실질적인 실무 배포에 적합하게 만들었다.