[論文レビュー] Tensor-Dictionary Learning with Deep Kruskal-Factor Analysis

Andrew Stevens, Yunchen Pu+3 more|ArXiv.org|Dec 8, 2016

Tensor decomposition and applications被引用数 7

ひとこと要約

本論文は、任意の順序のテンソルに適応可能な過完備でランク適応型の因子分解を可能にするベイジアン非パラメトリックなテンソル辞書学習モデル、Kruskal要因分析（KFA）を提案する。KFAはテンソル変量データをスパースなKruskal分解の和として表現し、マルチウェイノイズ除去、ブラインド補完（PSNRを1dB以上向上）、Caltech101画像分類において、BPFA、テンソル分解、畳み込みニューラルネットワーク（CNN）を上回る最先端の性能を達成する。

ABSTRACT

A multi-way factor analysis model is introduced for tensor-variate data of any order. Each data item is represented as a (sparse) sum of Kruskal decompositions, a Kruskal-factor analysis (KFA). KFA is nonparametric and can infer both the tensor-rank of each dictionary atom and the number of dictionary atoms. The model is adapted for online learning, which allows dictionary learning on large data sets. After KFA is introduced, the model is extended to a deep convolutional tensor-factor analysis, supervised by a Bayesian SVM. The experiments section demonstrates the improvement of KFA over vectorized approaches (e.g., BPFA), tensor decompositions, and convolutional neural networks (CNN) in multi-way denoising, blind inpainting, and image classification. The improvement in PSNR for the inpainting results over other methods exceeds 1dB in several cases and we achieve state of the art results on Caltech101 image classification.

研究の動機と目的

• 既存のテンソル辞書学習手法が低次元、分離可能、または浅い表現に制限されているという限界を解消すること。
• テンソル変量データ表現における辞書原子の数と各原子のランクを事前仮定なしに推定できる非パラメトリックベイジアンモデルを構築すること。
• 大規模データセットにおけるスケーラブルな学習とより優れた特徴表現を実現するため、モデルのオンライン学習およびディープ畳み込み拡張を可能にすること。
• 原子数がテンソルのランクを上回るランク過完備性—すなわち、原子数がテンソルのランクを上回る状態—が、スパarsity、ロバストネス、および実世界のタスクにおける性能に与える影響を示すこと。

提案手法

• KFAは、各原子が低ランクテンソルであり、そのランクが非パラメトリックに推定されるスパースなKruskal分解の和としてテンソル変量データをモデル化する。
• スパース性を誘導するための階層的ベータ・ベルヌーイ過程を用い、共役事前分布により効率的なギブスサンプリングを可能にする。
• ディープ畳み込み拡張では、教師ありのベイジアンSVMを用い、判別的微調整を可能にするエンドツーエンド学習を実現する。
• ブロック条件付き分布因子分解（BCDF）に基づくオンライン学習バージョンにより、大規模データセットにおけるミニバッチ推論が可能になる。
• ディープ畳み込み拡張であるKruskal DGDNは、各層でランク過完備で構造化された辞書原子を用い、プーリングと階層的特徴学習を実現する。
• Kruskal分解に内在する低ランク構造とスパース制約を活用することで、ブラインド補完とノイズ除去を実現する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックなテンソル辞書モデルは、事前仮定なしにテンソル変量データ表現における原子数と各原子のランクを推定できるか？
• RQ2 原子数がテンソルのランクを上回るランク過完備性—すなわち、原子数がテンソルのランクを上回る状態—は、テンソル因子分解におけるスパarsity、ロバストネス、性能にどのように影響を与えるか？
• RQ3 ディープ畳み込みテンソル要因分析モデルは、標準のCNNやベクトル化された辞書学習よりも画像分類およびノイズ除去タスクで優れた性能を発揮できるか？
• RQ4 提案されたKFAモデルは、BPFA、テンソル分解、CNNと比較してマルチウェイノイズ除去およびブラインド補完で最先端の性能を達成できるか？
• RQ5 モデルはオンライン学習に拡張可能であり、大規模データセットにおいても高い性能を維持できるか？

主な発見

• KFAはCaltech101画像分類ベンチマークで最先端の性能を達成し、Kruskal DGDNはカテゴリ1つあたり30枚の画像のみを用いて88.3%の精度に到達した。
• ブラインド補完において、KFAは複数のデータセットでベースライン手法と比較してPSNRを1dB以上向上させ、優れた再構成品質を示した。
• Kruskal DGDNモデルは標準のDGDNおよび他のディープモデルを上回り、MNISTでは0.35%の誤差を達成し、単一の2層モデルで35個のCNNアンサンブルと同等の性能を発揮した。
• ディープCKFAモデルは層が深くなるにつれて、次第に判別性の高い特徴を抽出し、3層モデルではカテゴリ1つあたり30枚の画像を用いてCaltech101で69.9%の精度を達成した。
• Kruskal DGDNは、訓練データ数が少ない場合でも、DGDNや従来の確率的プーリング手法を一貫して上回り、MNISTにおいてさまざまな訓練サイズで優れた性能を示した。
• 結果から、ランク過完備性がスパarsityとモデルのロバストネスを高める上で重要な役割を果たしていることが確認された。ランク、スパarsity、過完備性の相互作用は今後の研究の対象となるべきである。