[論文レビュー] Matrix Variate RBM and Its Applications

Guanglei Qi, Yanfeng Sun+3 more|arXiv (Cornell University)|Jan 5, 2016

Vehicle License Plate Recognition参考文献 28被引用数 3

ひとこと要約

本稿では、2次元行列データを行列形式の可視層および隠れ層間の二重線形接続を用いて直接的にモデル化することで、空間的構造を保持するとともにパラメータ数を削減する、行列変量制限ボルツマンマシン（MVRBM）を提案する。MVRBMは、画像超解像および数字認識タスクにおいて、顕著に高速な学習および推論を実現しながら、従来のRBMsと同等の性能を達成する。

ABSTRACT

Restricted Boltzmann Machine (RBM) is an importan- t generative model modeling vectorial data. While applying an RBM in practice to images, the data have to be vec- torized. This results in high-dimensional data and valu- able spatial information has got lost in vectorization. In this paper, a Matrix-Variate Restricted Boltzmann Machine (MVRBM) model is proposed by generalizing the classic RBM to explicitly model matrix data. In the new RBM model, both input and hidden variables are in matrix forms which are connected by bilinear transforms. The MVRBM has much less model parameters, resulting in a faster train- ing algorithm while retaining comparable performance as the classic RBM. The advantages of the MVRBM have been demonstrated on two real-world applications: Image super- resolution and handwritten digit recognition.

研究の動機と目的

• 従来のRBMsに適用する際の2次元画像データのベクトル化に伴う空間相関の損失を解消すること。
• データをベクトル化するのではなく、行列構造を活用することで、RBMsに基づくモデルのパラメータ数を削減すること。
• 学習および推論中に空間情報を保持する、スケーラブルで効率的な行列変量データ向けの生成モデルを開発すること。
• 画像超解像や手書き数字認識といった実世界のコンピュータビジョン応用において、MVRBMの有効性を実証すること。
• 構造的パラメータ化アプローチを用いて、RBMsに基づくモデルを高次元テンソルデータへ拡張する基盤を築くこと。

提案手法

• 可視ユニットおよび隠れユニットをベクトルではなく2次元行列として表現することで、古典的RBMsの一般化を行う。
• 可視ユニットと隠れユニット間の相互作用を、二つの行列UおよびVでパrameter化された二重線形変換によりモデル化し、Kronecker積U^T ⊗ V^Tを形成する。
• 完全接続構造ではなく、Kronecker積による低ランク構造を制約として重み行列に適用することで、自由パラメータ数を削減する。
• モデルパラメータの最適化を目的とした、MVRBMフレームワークにおける確率的学習のためのコントラストダイバージェンス（CD）アルゴリズムを適応する。
• 2段階の推論プロセスを採用する：可視層から隠れ層への伝搬、次に隠れ表現から可視層への再構築。これにより、効率的な超解像が可能になる。
• 画像超解像において、低解像度のパッチを入力とし、高解像度の対応物を再構築するパッチベースのアプローチをMVRBMに適用する。

実験結果

リサーチクエスチョン

• RQ1 行列変量RBMsは、ベクトル化されたRBMsに比べて、2次元画像データの空間相関をより効果的に保持できるか？
• RQ2 MVRBMにおける二重線形パラメータ化によるパラメータ数の削減は、性能を損なわず、学習および推論を高速化できるか？
• RQ3 再構成品質および速度の観点から、MVRBMは標準RBMsおよび他の超解像手法と比べてどのように差をつけるか？
• RQ4 MVRBMフレームワークは、2次元行列を越えた高次元テンソルデータへ拡張可能か？
• RQ5 MVRBMを用いた画像超解像における最適なパッチサイズおよび隠れ層次元は何か？

主な発見

• Lena画像におけるMVRBMのPSNRは35.3006 dBに達し、バイキュービック補間（34.1282 dB）を上回り、スパース表現に基づくSR手法（35.8963 dB）に近い性能を示した。
• Lena画像の再構成時間は36.116秒にとどまり、スパース表現に基づくSR手法が要する679.529秒よりも顕著に高速であった。
• Bird画像において、MVRBMはPSNR 36.2514 dB、再構成時間35.196秒を達成し、バイキュービック補間（34.5184 dB）を上回り、精度ではSR手法と同等ながらはるかに高速であった。
• MVRBMを用いた超解像における最適なパッチサイズは30×30であり、テストされた設定の中で最高のPSNR（35.3606 dB）を記録した。
• MVRBMは、標準RBMsと同等の再構成性能を示しながらも、パラメータ数を削減し、計算効率を向上させた。
• モデルの二重線形構造は、高次元テンソルデータへの容易な拡張を可能にし、将来的には動画やマルチスペクトル画像などの複雑な多次元データ応用に応用可能である。