[論文レビュー] Tensorial Mixture Models

Or Sharir, Ronen Tamari+2 more|arXiv (Cornell University)|Oct 13, 2016

Bayesian Methods and Mixture Models参考文献 41被引用数 17

ひとこと要約

この論文では、畳み込みニューラルネットワーク構造とテンソル解析を組み合わせることで、欠損データに対する効率的かつ正確な周辺化を可能にする、 tractable な生成モデルであるテンソリアル混合モデル（TMMs）を提案する。TMMs は局所的パッチモデリングと Mixture-of-Experts レイヤーを用いて、制御された表現力と tractable 推論を実現し、欠損データ下での分類において最先端の性能を達成する。

ABSTRACT

Casting neural networks in generative frameworks is a highly sought-after endeavor these days. Contemporary methods, such as Generative Adversarial Networks, capture some of the generative capabilities, but not all. In particular, they lack the ability of tractable marginalization, and thus are not suitable for many tasks. Other methods, based on arithmetic circuits and sum-product networks, do allow tractable marginalization, but their performance is challenged by the need to learn the structure of a circuit. Building on the tractability of arithmetic circuits, we leverage concepts from tensor analysis, and derive a family of generative models we call Tensorial Mixture Models (TMMs). TMMs assume a simple convolutional network structure, and in addition, lend themselves to theoretical analyses that allow comprehensive understanding of the relation between their structure and their expressive properties. We thus obtain a generative model that is tractable on one hand, and on the other hand, allows effective representation of rich distributions in an easily controlled manner. These two capabilities are brought together in the task of classification under missing data, where TMMs deliver state of the art accuracies with seamless implementation and design.

研究の動機と目的

• 深層ネットワークの表現力と算術回路の tractability を組み合わせた生成モデルの開発。
• 欠損入力における正確かつ効率的な周辺化を可能にし、不完全データ下でのロバストな分類に不可欠である。
• 既存モデルの限界（スケーラビリティの低さ、構造的剛性、tractable 推論の欠如）を、テンソル解析を活用することで克服する。
• モデル構造と高次元分布における表現能力の関係を理論的に裏付けたフレームワークを提供する。
• 特に非無視可能な欠損度の下で、欠損データを伴う分類タスクにおいて優れた性能を示す。

提案手法

• TMMs は、高次元データを局所的パッチの系列としてモデル化し、各パッチが空間的位置にわたって共有パラメータを持つ混合成分に従うと仮定する。
• モデルは畳み込み構造を用い、各空間的位置で Mixture-of-Experts (MEX) レイヤーを適用して、成分密度の凸結合を計算する。
• 主なイノベーションは、MEX 操作の前後に活性化値の正規化を導入することである：各空間位置でソフトマックス正規化を適用し、活性化値から差し引いた後、MEX の出力に再び加算することで、数値的安定性を向上させつつ出力を変更しない。
• 欠損ピクセルを観測されない変数とみなすことにより、すべての可能な補完の和を取ることで、クラス確率の正確な計算が可能となり、tractable な周辺化が実現される。
• 推論時には、入力画像の複数の平行移動版にモデルを適用し、欠損領域はマスクする。その後、予測結果を平均することで、ロバスト性を向上させる。
• アーキテクチャはクロスエントロピー損失を用いてエンドツーエンドで訓練され、温度 β などのハイパーパrameter はデータセットごとに調整される（例：MNIST では β=0.01、NORB では変動させる）。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークに基づく生成モデルは、複雑なデータ分布に対して、tractable な周辺化と高い表現力の両方を達成できるか？
• RQ2 テンソル解析を用いることで、理論的に解釈可能でありながら実用的に効果的な生成モデルの族を設計できるか？
• RQ3 非無視可能な欠損度の下で、TMMs は欠損データ下の分類において、判別モデルを上回る性能を示せるか？
• RQ4 正規化された Mixture-of-Experts レイヤーの使用は、TMMs の訓練安定性と一般化性能を向上させるが、tractability を損なわないか？
• RQ5 翻訳によるデータ拡張と周辺化を、TMMs にシームレスに統合できるか、欠損入力に対するロバスト性を向上させられるか？

主な発見

• MNIST における特徴削除下の二値数字分類タスクで、TMMs は、シミュレートされた欠損度に合わせて微調整された標準的な ConvNets 即ち、MNIST で最も高い精度を達成する。
• MNIST の多クラス分類タスクにおいて、欠損データが存在する状況下でも、TMMs は i.i.d. ピクセル破損や欠損矩形など、多様な欠損パターンにおいて高い性能を維持する。テスト段階では欠損度のメカニズムの知識が不要である。
• MEX レイヤーにおける活性化正規化の使用は、特に大きな活性化値を扱う場合に、数値的安定性とモデル性能を顕著に向上させる。
• TMMs は、未学習の欠損度分布に対しても一般化がうまくいく：例えば i.i.d. での学習後、矩形欠損に対して優れた性能を示す。これは、ロバスト性を示している。
• ピクセルの欠損を補完やクロッピングなしに周辺化できる能力のおかげで、特に高い欠損度（例：N=150 個の非ゼロピクセルが削除された）において一貫した性能向上が得られる。
• 実験により、シミュレートされた欠損度分布で学習した標準的な ConvNets は、未学習の欠損度タイプに対してバイアスが生じ、性能が低下することが明らかになった。これは、TMMs が内在的な周辺化能力のおかげで優位であることを示している。