[논문 리뷰] Bayesian Tensor Network with Polynomial Complexity for Probabilistic Machine Learning

Shi-Ju Ran|arXiv (Cornell University)|2019. 12. 30.

Bayesian Modeling and Causal Inference참고 문헌 35인용 수 4

한 줄 요약

이 논문은 다항 복잡도를 사용하여 지수적으로 큰 사건 집합 간의 조건부 확률을 효율적으로 포착할 수 있는 확률적 기계학습 모델인 베이지안 텐서 네트워크(BTN)를 제안한다. 텐서 네트워크 구조와 기울기 기반 최적화 방법을 활용하여, 패션-MNIST에서 경쟁력 있는 이미지 분류 성능를 달성하였으며, 이미지 인식 문제에서 공분산의 '면적 법칙(area law)'을 보여주었다.

ABSTRACT

It is known that describing or calculating the conditional probabilities of multiple events is exponentially expensive. In this work, Bayesian tensor network (BTN) is proposed to efficiently capture the conditional probabilities of multiple sets of events with polynomial complexity. BTN is a directed acyclic graphical model that forms a subset of TN. To testify its validity for exponentially many events, BTN is implemented to the image recognition, where the classification is mapped to capturing the conditional probabilities in an exponentially large sample space. Competitive performance is achieved by the BTN with simple tree network structures. Analogous to the tensor network simulations of quantum systems, the validity of the simple-tree BTN implies an ``area law'' of fluctuations in image recognition problems.

연구 동기 및 목표

• 대규모 확률적 모델에서 조건부 확률을 계산할 때 발생하는 지수적 복잡도 문제를 해결하기 위해.
• 고차원 데이터를 위한 확장 가능하고 효율적인 베이지안 신뢰망(BBNs)의 대안을 개발하기 위해.
• 텐서 네트워크 기법을 확률적 기계학습에 적용하여 BBN과 텐서 네트워크의 장점을 융합하기 위해.
• 지수적으로 큰 표본 공간을 가진 이미지 인식 작업에서 모델을 검증하기 위해.
• 양자 시스템과 유사하게 기계학습 문제에서 변동성에 대한 '면적 법칙(area law)' 존재 여부를 탐색하기 위해.

제안 방법

• BTN은 다항식 텐서를 통해 조건부 확률을 표현하는 텐서 네트워크(TN) 기반의 방향 비순환 그래픽 모델로 구성된다.
• 조건부 확률은 (m+1)차 텐서 T에 인코딩되며, 여기서 T_{j,i1...im} = P(y_j | x1_i1, ..., xm_im)이다.
• 네트워크 구조는 사전 정의되어 있으며(예: 트리 구조), NP-난해한 구조 학습을 피하고, 기브스 샘플링 대신 텐서 결합을 사용하여 추론을 수행한다.
• 기울기 소실을 방지하고 학습 안정성을 향상시키기 위해 텐서 코어를 갱신하기 위한 기울기 기반 최적화 방법을 제안한다.
• 이미지 인식에 적용하기 위해 픽셀 집합을 루트 텐서로 매핑하고, 은닉층을 통해 텐서 결합을 이용해 특징을 처리한다.
• 모델 성능은 정확도를 지표로 하여 패션-MNIST에서 평가되며, 깊이, 루트 차원(d), 은닉 차원(χ)에 대한 분석 연구가 수행된다.

실험 결과

연구 질문

• RQ1 텐서 네트워크는 지수적으로 큰 표본 공간에서 조건부 확률을 효과적으로 표현하는 데에 사용될 수 있는가?
• RQ2 베이지안 텐서 네트워크는 높은 정확도를 유지하면서도 다항 복잡도를 확보할 수 있는가?
• RQ3 BTN 모델은 양자 시스템과 유사하게 이미지 인식에서 공분산에 대한 '면적 법칙'을 드러낼 수 있는가?
• RQ4 BTN의 성능는 나이브 베이즈와 표준 신경망에 비해 이미지 분류에서 어떻게 비교되는가?
• RQ5 기울기 기반 최적화는 아담과 같은 표준 방법보다 BTN 모델 학습에 더 효과적인가?

주요 결과

• BTN은 패션-MNIST 데이터셋에서 나이브 베이즈 분류기(~70% 정확도)보다 유의미하게 뛰어난 경쟁력 있는 분류 정확도를 달성하였다.
• 모델의 정확도는 은닉 차원 χ가 증가할수록 증가하며, 이는 표현력이 모델 용량과 함께 증가함을 시사한다.
• 동일한 d와 χ 조건에서 BTN 1(얕은 구조)이 BTN 2(깊은 구조)보다 더 높은 성능을 보였는데, 이는 더 높은 파rameter 복잡도와 장거리 상관관계를 위한 더 짧은 경로 길이 때문이었다.
• 기울기 기반 최적화 방법은 약 100 에포크 후에 안정적으로 수렴하였고, 아담은 기울기 소실 현상을 보이며 수동 정규화 없이 양호한 성능에 도달하지 못했다.
• 결과는 이미지 인식에서 공분산에 대한 '면적 법칙' 존재를 시사하며, 장거리 상관관계는 경계 근처의 단거리 변동성에 의해 지배됨을 나타낸다.
• 모델의 효율성과 확장 가능성은 텐서 네트워크가 다항 복잡도를 갖는 확률적 기계학습에 자연스러운 프레임워크를 제공할 수 있음을 보여준다.