[論文レビュー] Bayesian Tensor Network with Polynomial Complexity for Probabilistic Machine Learning

Shi-Ju Ran|arXiv (Cornell University)|Dec 30, 2019

Bayesian Modeling and Causal Inference参考文献 35被引用数 4

ひとこと要約

本稿では、多項式の複雑さを用いて、指数的に大きな事象の集合における条件付き確率を効率的に捉えることができる確率的機械学習モデル、ベイジアンテンソルネットワーク（BTN）を提案する。テンソルネットワーク構造と回転に基づく最適化手法を活用することで、BTNはファッション-MNISTにおいて競争力ある画像分類性能を達成し、画像認識問題における共分散の「面積則」を示している。

ABSTRACT

It is known that describing or calculating the conditional probabilities of multiple events is exponentially expensive. In this work, Bayesian tensor network (BTN) is proposed to efficiently capture the conditional probabilities of multiple sets of events with polynomial complexity. BTN is a directed acyclic graphical model that forms a subset of TN. To testify its validity for exponentially many events, BTN is implemented to the image recognition, where the classification is mapped to capturing the conditional probabilities in an exponentially large sample space. Competitive performance is achieved by the BTN with simple tree network structures. Analogous to the tensor network simulations of quantum systems, the validity of the simple-tree BTN implies an ``area law'' of fluctuations in image recognition problems.

研究の動機と目的

• 大規模な確率的モデルにおける条件付き確率の計算の指数的複雑さに対処すること。
• 高次元データ向けのスケーラブルで効率的なベイジアン信念ネットワーク（BBN）の代替手法を開発すること。
• テンソルネットワーク技術を確率的機械学習に応用し、BBNとテンソルネットワークの長所を統合すること。
• 指数的に大きなサンプル空間を持つ画像認識タスクにおいてモデルを検証すること。
• 量子系に類似した、機械学習問題におけるフラクチュエーションの「面積則」の存在を調査すること。

提案手法

• BTNはテンソルネットワーク（TN）に基づく有向非巡回グラフ的モデルとして定式化され、条件付き確率が多次元テンソルによって表現される。
• 条件付き確率は (m+1) 階のテンソル T に符号化され、T_{j,i1...im} = P(y_j | x1_i1, ..., xm_im) と表される。
• ネットワーク構造は事前に定義されている（例：木構造）、NP困難な構造学習を回避し、推論にはギブスサンプリングの代わりにテンソル結合が用いられる。
• 勾配消失を回避し、学習安定性を向上させるために、テンソルコアの更新に回転最適化手法が提案されている。
• ピクセル集合をルートテンソルにマッピングすることで、画像認識にモデルを適用し、隠れ層がテンソル結合を介して特徴を処理する。
• モデルの性能は、正確性を指標としてファッション-MNISTで評価され、深さ、ルート次元（d）、隠れ次元（χ）に関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 テンソルネットワークは、指数的に大きなサンプル空間における条件付き確率を効果的に表現できるか？
• RQ2 ベイジアンテンソルネットワークは、多項式の複雑さを維持しながら、確率的機械学習で高い正確性を達成できるか？
• RQ3 BTNモデルは、量子系に類似した、画像認識における共分散の「面積則」を明らかにできるか？
• RQ4 BTNの性能は、ナイーブベイズや標準的なニューラルネットワークと比較して、画像分類で優れているか？
• RQ5 回転に基づく最適化は、Adamのような標準的手法よりもBTNモデルの学習に有効であるか？

主な発見

• BTNはファッション-MNISTデータセットで競争力ある分類正確性を達成し、ナイーブベイズ分類器（約70％正確性）を著しく上回った。
• モデルの正確性は隠れ次元 χ に応じて向上し、表現力がモデル容量に比例して向上することを示している。
• 同じ d と χ の条件下で、BTN 1（浅い構造）は BTN 2（深い構造）を上回った。これは、パラメータの複雑さが高く、長距離相関のためのパス長が短いからである。
• 回転最適化手法は約100エポックで安定して収束したが、Adamは勾配消失の兆候を示し、手動での正規化がなければ良好な性能に到達しなかった。
• 結果から、画像認識における共分散の「面積則」が示唆された。これは、長距離相関が境界付近の短距離フラクチュエーションによって支配されることを示している。
• モデルの効率性とスケーラビリティは、テンソルネットワークが多項式の複雑さを持つ確率的機械学習の自然なフレームワークを提供できることを示している。