[論文レビュー] Matrix-centric Neural Networks.

Kien Do, Truyen Tran+1 more|arXiv (Cornell University)|Mar 4, 2017

Advanced Graph Neural Networks被引用数 2

ひとこと要約

この論文は、入力層、隠れ層、出力層のすべてで情報がネイティブに行列として表現される行列中心のニューラルネットワークを導入し、パラメータの増加を隠れユニット数ではなく最大次元に比例させるようにすることで、スケーリングに伴う増加を抑える。このアプローチにより、順方向、再帰的、メモリ拡張、グラフベースのネットワークのためのコンactかつ洗練されたアーキテクチャが可能になり、文字認識、顔再構築、系列モデリング、EEG分類、ノード分類の各タスクで最先端の性能を示し、効率性が向上している。

ABSTRACT

We present a new distributed representation in deep neural nets wherein the information is represented in native form as a matrix. This differs from current neural architectures that rely on vector representations. We consider matrices as central to the architecture and they compose the input, hidden and output layers. The model representation is more compact and elegant -- the number of parameters grows only with the largest dimension of the incoming layer rather than the number of hidden units. We derive several new deep networks: (i) feed-forward nets that map an input matrix into an output matrix, (ii) recurrent nets which map a sequence of input matrices into a sequence of output matrices. We also reinterpret existing models for (iii) memory-augmented networks and (iv) graphs using matrix notations. For graphs we demonstrate how the new notations lead to simple but effective extensions with multiple attentions. Extensive experiments on handwritten digits recognition, face reconstruction, sequence to sequence learning, EEG classification, and graph-based node classification demonstrate the efficacy and compactness of the matrix architectures.

研究の動機と目的

• ベクトルベースの表現が深層ニューラルネットワークにおいて非効率的で複雑であるのを是正するため、ネイティブな行列表現を導入すること。
• 隠れユニット数ではなく、入力層の最大次元に比例してパラメータの増加を抑えることで、深層ネットワークのパラメータ増加を低減すること。
• 順方向、再帰的、メモリ拡張、グラフニューラルネットワークといった多様なモデルのアーキテクチャを、行列表記によって統一的かつ簡素化すること。
• 行列形式を用いることで、グラフベースのモデルにおけるより効果的で解釈可能なマルチヘッドアテンション機構を実現すること。
• 複数のベンチマークタスクにおいて、行列中心のネットワークのコンパクトさと性能を実証的に検証すること。

提案手法

• 入力層、隠れ層、出力層をベクトルではなく行列として表現し、ネットワーク全体で直接的な行列演算を可能にする。
• 入力行列を出力行列に写像する学習可能な行列変換を用いた順方向ネットワークの設計。
• 行列RNNユニットを用いて入力行列の系列を処理し、出力行列の系列を生成する再帰的ネットワークの定式化。
• メモリバンクとリード/ライト操作を行列演算として表現する行列表記によるメモリ拡張ネットワークの再解釈。
• 隣接行列とノード特徴行列を直接行列乗算とアテンション機構を用いて操作する行列形式によるグラフニューラルネットワークの表現。
• 複数の行列投影を適用し、結果をコンパクトで微分可能な形に集約することで、グラフモデルにマルチヘッドアテンションを拡張する。

実験結果

リサーチクエスチョン

• RQ1 ネイティブな行列表現に基づく深層ニューラルネットワークアーキテクチャは、ベクトルベースの対比的アーキテクチャよりもパラメータ効率が優れているか？
• RQ2 行列演算を順方向、再帰的、グラフベースのニューラルネットワークアーキテクチャに体系的に適用する方法は何か？
• RQ3 行列中心の設計は、メモリ拡張ネットワークやマルチヘッドアテンション層といった複雑なモデルの定式化を単純化・統一できるか？
• RQ4 行列中心のアプローチは、系列モデリングおよびグラフベースの学習タスクにおける性能向上にどの程度寄与するか？
• RQ5 行列中心のネットワークにおけるパラメータ増加の低減は、少ないパラメータ数で同等または優れた性能を達成するか？

主な発見

• 行列中心のアーキテクチャは、従来のベクトルベースのモデルよりも少ないパラメータ数で手書き数字認識タスクで最先端の性能を達成した。
• 顔再構築タスクにおいて、コンパクトなパラメータ化で高い忠実度を維持しながら、優れた効率性と性能を示した。
• 系列から系列への学習において、行列ベースの再帰的ネットワークは系列長に伴うスケーリングがより効率的であり、競争力のある結果を得た。
• EEG分類において、行列中心のモデルはベースラインモデルを上回り、時系列信号データに対する優れた一般化能力を示した。
• グラフベースのノード分類において、行列形式により単純ながらも効果的なマルチヘッドアテンション機構を実現し、ベンチマークデータセットで性能向上を達成した。
• パラメータ数は入力層の最大次元に比例して増加するのみであり、従来のアーキテクチャと比較して著しくコンパクトなモデルが得られた。