[論文レビュー] Bayesian Tensor Network and Optimization Algorithm for Probabilistic Machine Learning

Shi-Ju Ran|arXiv (Cornell University)|Dec 30, 2019

Bayesian Modeling and Causal Inference被引用数 1

ひとこと要約

本稿では、有向非巡回テンソルネットワークを活用することで、指数的増加する事象空間における条件付き確率を、多項式時間の計算複雑性で効率的に捉えることができるベイジアンテンソルネットワーク（BTN）を提案する。画像認識に応用した結果、単純な木構造を用いても競争力ある性能を達成しており、視覚認識タスクにおけるフラクチュエーションの『面積則』の可能性を示唆している。

ABSTRACT

It is known that describing or calculating the conditional probabilities of multiple events is exponentially expensive. In this work, Bayesian tensor network (BTN) is proposed to efficiently capture the conditional probabilities of multiple sets of events with polynomial complexity. BTN is a directed acyclic graphical model that forms a subset of TN. To testify its validity for exponentially many events, BTN is implemented to the image recognition, where the classification is mapped to capturing the conditional probabilities in an exponentially large sample space. Competitive performance is achieved by the BTN with simple tree network structures. Analogous to the tensor network simulations of quantum systems, the validity of the simple-tree BTN implies an ``area law'' of fluctuations in image recognition problems.

研究の動機と目的

• 確率的機械学習における複数の事象間の条件付き確率をモデル化する際の指数的計算コストを緩和すること。
• 計算が tractable（扱いやすい）な枠組みで高次元の条件付き依存関係を表現可能なスケーラブルなフレームワークの開発。
• 入力ピクセル集合の増加に伴い指数的に増大するサンプル空間を有する画像認識タスクにおける手法の妥当性の検証。
• テンソルネットワークにおける構造の単純さが、複雑な確率的モデルにおける効率的推論への道筋であるかの探求。

提案手法

• テンソルネットワーク（TN）の族に属する有向非巡回グラフィカルモデルとして、ベイジアンテンソルネットワーク（BTN）を提案する。
• 高次元の依存関係を局所的で扱いやすい要因に分解するテンソルネットワーク構造を用いて、条件付き確率をモデル化する。
• 計算複雑性を多項式時間に抑えるために、木構造を持つBTNアーキテクチャを活用する。
• 画像分類タスクを、指数的に増大するサンプル空間における条件付き確率推定問題にマッピングする。
• 量子系におけるテンソルネットワークシミュレーションとの類似性を参照し、構造的効率性を解釈する。
• BTNの構造に特化した最適化アルゴリズムを適用し、推論と学習の性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 テンソルネットワークに基づくモデルは、確率的機械学習において指数的に多くの事象の間の条件付き確率を効率的に表現できるか？
• RQ2 高次元の入力空間を持つ画像認識タスクにおいて、単純な木構造を持つBTNが競争力ある性能を達成できるか？
• RQ3 フラクチュエーションを支配する構造的原則（例：『面積則』）が、確率的画像認識モデルに存在するか？
• RQ4 BTNの多項式時間複雑性は、従来のベイジアンネットワークと比較して、どの程度スケーラブルな推論を可能にするか？

主な発見

• BTNは、単純な木構造ネットワークを用いるだけで、画像認識タスクで競争力ある分類性能を達成した。
• BTNの計算複雑性は、事象の数の増加に伴い指数的ではなく、多項式的に増加する。
• 単純な木構造を持つBTNの成功は、量子系に類似した視覚認識タスクにおけるフラクチュエーションの背後にある『面積則』の存在を示唆している。
• 複雑なアーキテクチャを必要とせずに、高次元のサンプル空間における条件付き依存関係を効果的に捉えることができた。