[論文レビュー] Tensor Regression Networks

Jean Kossaifi, Zachary C. Lipton+4 more|arXiv (Cornell University)|Jul 26, 2017

Tensor decomposition and applications参考文献 49被引用数 78

ひとこと要約

本論文は、Tensor Contraction Layers (TCLs) および Tensor Regression Layers (TRLs) を導入し、ニューラルネットワークにおける多線形構造を保持することで、ImageNet の精度を保ちつつ大幅なパラメータ削減を実現し、MRI ベースの表現型予測を改善します。

ABSTRACT

Convolutional neural networks typically consist of many convolutional layers followed by one or more fully connected layers. While convolutional layers map between high-order activation tensors, the fully connected layers operate on flattened activation vectors. Despite empirical success, this approach has notable drawbacks. Flattening followed by fully connected layers discards multilinear structure in the activations and requires many parameters. We address these problems by incorporating tensor algebraic operations that preserve multilinear structure at every layer. First, we introduce Tensor Contraction Layers (TCLs) that reduce the dimensionality of their input while preserving their multilinear structure using tensor contraction. Next, we introduce Tensor Regression Layers (TRLs), which express outputs through a low-rank multilinear mapping from a high-order activation tensor to an output tensor of arbitrary order. We learn the contraction and regression factors end-to-end, and produce accurate nets with fewer parameters. Additionally, our layers regularize networks by imposing low-rank constraints on the activations (TCL) and regression weights (TRL). Experiments on ImageNet show that, applied to VGG and ResNet architectures, TCLs and TRLs reduce the number of parameters compared to fully connected layers by more than 65% while maintaining or increasing accuracy. In addition to the space savings, our approach's ability to leverage topological structure can be crucial for structured data such as MRI. In particular, we demonstrate significant performance improvements over comparable architectures on three tasks associated with the UK Biobank dataset.

研究の動機と目的

• CNN 全体の活性化テンソルにおいて多線形構造を保持し、最後の全結合層に平坦化する代わりにする。
• TCLsを導入して、テンソル収縮によって活性化を圧縮する。
• Flattening せずに低ランク多線形写像を用いて出力をモデリングする TRLs を導入する。
• 大規模データセットおよび医用画像データセットにおけるパラメータ効率と精度のトレードオフを示す。

提案手法

• Tensor Contraction Layers (TCLs) を定義し、X をコア G にマッピングする。X' = X ×1 V(0) ×2 V(1) ... ×N+1 V(N)。
• Tensor Regression Layers (TRLs) を定義して、低ランクの Tucker-構造化重みテンソル W = ⟪G; U(0),...,U(N),U(N+1)⟫ を学習し、Y = ⟨X, W⟩N + b を計算する。
• エンドツーエンドの逆伝播を可能にするために、TCLs および TRLs の勾配式を導出する。
• テンソル積の観点から TCLs が全結合層と等価であることを示し、パラメータ数の削減（次元の和 vs 積）を強調する。
• 高次元計算を最小化するために Y を低ランク部分空間の形で書き直すことで効率的な実装を提供する。
• 因子行列の正規化と低ランク制約による正則化について議論する。

実験結果

リサーチクエスチョン

• RQ1 TCLs と TRLs によって多モーダルなテンソル構造を保持することは、大規模なビジョンタスクで全結合層と同等かそれを上回ることができるか。
• RQ2 ImageNet で精度を維持しつつ、TCLs と TRLs はパラメータ数をどの程度削減できるか。
• RQ3 構造が豊富な医用画像データ（例: MRI）に対して、従来の平坦化手法より TRLs は利点を提供するか。
• RQ4 テンソル化されたアーキテクチャをエンドツーエンドで学習させることは、従来の CNN と性能と正則化の観点でどのように比較されるか。
• RQ5 現代のハードウェアでテンソル収縮を実装する際の実用的な効率向上はどの程度か。

主な発見

• ImageNet の ResNet-101 で、FC 層を TRL に置換すると、ベースラインと同等またはそれ以上の Top-1/Top-5 精度を維持しつつ、空間節約が大幅に進む（例: 25% から 92.4% の節約）。
• 小型の TRL 構成は精度を維持または向上させつつ大幅なパラメータ削減を達成（例: 最小限の精度低下で約65% の空間節約）。
• TRL と TCL を組み合わせると多線形構造を保持し、平坦化＋FC をテンソルベースの写像に置換することでパラメータを削減する。
• MRI ベースの UK Biobank タスク（年齢、性別、BMI）で、TRL はベースラインの 3D-ResNet FC セットアップを大幅に上回り、MAE の縮小を達成（Age: 2.96→2.70 年、Gender 誤差 0.79%→0.53%、BMI MAE 2.37→2.26）。
• 結果は、テンソル構造化ネットワークがトポロジー的データ特性を活用し、特に医用画像で予測性能を向上させることができることを示している。