[논문 리뷰] Bayesian Tensor Network and Optimization Algorithm for Probabilistic Machine Learning

Shi-Ju Ran|arXiv (Cornell University)|2019. 12. 30.

Bayesian Modeling and Causal Inference인용 수 1

한 줄 요약

이 논문은 방향성 비순환 텐서 네트워크를 활용하여 지수적으로 증가하는 사건 공간에서 조건부 확률을 효율적으로 포착하는 다항식 복잡도의 그래픽 모델인 베이지안 텐서 네트워크(BTN)를 제안한다. 이미지 인식에 적용했을 때, BTN은 단순한 트리 구조만으로도 경쟁 가능한 성능을 달성하며, 이는 시각적 인식 작업에서의 변동성에 대한 '면적 법칙(area law)'을 시사한다.

ABSTRACT

It is known that describing or calculating the conditional probabilities of multiple events is exponentially expensive. In this work, Bayesian tensor network (BTN) is proposed to efficiently capture the conditional probabilities of multiple sets of events with polynomial complexity. BTN is a directed acyclic graphical model that forms a subset of TN. To testify its validity for exponentially many events, BTN is implemented to the image recognition, where the classification is mapped to capturing the conditional probabilities in an exponentially large sample space. Competitive performance is achieved by the BTN with simple tree network structures. Analogous to the tensor network simulations of quantum systems, the validity of the simple-tree BTN implies an ``area law'' of fluctuations in image recognition problems.

연구 동기 및 목표

• 확률적 기계 학습에서 다수의 사건 간 조건부 확률을 모델링할 때 발생하는 지수적 계산 비용 문제를 해결한다.
• 계산이 가능하도록 고차원 조건부 의존성을 표현할 수 있는 확장 가능한 프레임워크를 개발한다.
• 입력 픽셀 집합의 크기가 증가함에 따라 지수적으로 증가하는 표본 공간을 가진 이미지 인식에서 접근 방식을 검증한다.
• 복잡한 확률 모델에서 효율적 추론을 위한 길로 삼을 수 있는 텐서 네트워크의 구조적 단순성 탐구

제안 방법

• 텐서 네트워크(TN) 계열 내의 방향성 비순환 그래픽 모델로서 베이지안 텐서 네트워크(BTN)를 제안한다.
• 고차원 의존성을 국소적이고 계산이 용이한 요소들로 분해하는 텐서 네트워크 구조를 사용해 조건부 확률을 모델링한다.
• 계산 복잡도를 다항식 시간으로 줄이기 위해 트리 구조의 BTN 아키텍처를 활용한다.
• 이미지 분류 작업을 지수적으로 증가하는 표본 공간에서의 조건부 확률 추정 문제로 매핑한다.
• 양자 시스템에서의 텐서 네트워크 시뮬레이션과 유사성을 고려해 구조적 효율성을 해석한다.
• BTN의 구조에 맞춰진 최적화 알고리즘을 적용해 추론 및 학습 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 텐서 네트워크 기반 모델은 확률적 기계 학습에서 지수적으로 많은 사건들 간의 조건부 확률을 효율적으로 표현할 수 있는가?
• RQ2 고차원 입력 공간을 가진 이미지 인식에서 단순한 트리 구조의 BTN이 경쟁 가능한 성능을 달성할 수 있는가?
• RQ3 확률적 이미지 인식 모델에서 변동성을 지배하는 구조적 원칙—예를 들어 '면적 법칙'—이 존재하는가?
• RQ4 BTN의 다항식 복잡도는 전통적인 베이지안 네트워크에 비해 얼마나 확장 가능한 추론을 가능하게 하는가?

주요 결과

• BTN은 단순한 트리 구조 네트워크만으로도 이미지 인식 작업에서 경쟁 가능한 분류 성능을 달성한다.
• BTN의 계산 복잡도가 사건 수에 따라 지수적으로 증가하는 것이 아니라 다항식으로 증가한다.
• 단순한 트리 BTN 아키텍처의 성공은 시각적 인식에서의 변동성에 대한 잠재적 '면적 법칙'이 존재함을 시사하며, 이는 양자 시스템과 유사하다.
• 복잡한 아키텍처가 필요 없이도 고차원 표본 공간에서의 조건부 의존성을 효과적으로 포착할 수 있다.