[論文レビュー] Training Deep Networks with Structured Layers by Matrix Backpropagation

Catalin Ionescu, Orestis Vantzos+1 more|arXiv (Cornell University)|Sep 25, 2015

Advanced Neural Network Applications参考文献 48被引用数 47

ひとこと要約

本稿では、正規化カットや2次結合プーリングなどの構造的でグローバルな層を組み込んだ深層ネットワークのエンドツーエンド学習を可能にする数学的枠組み、マトリクスバックプロパゲーションを提案する。アドジョイント行列の変化に基づくバックプロパゲーションの一般化により、行列関数における効率的で微分可能な計算が可能となり、BSDS や MSCOCO といった画像セグメンテーションベンチマークにおいて、標準的な深層ネットワークよりも優れた性能を発揮する。

ABSTRACT

Deep neural network architectures have recently produced excellent results in a variety of areas in artificial intelligence and visual recognition, well surpassing traditional shallow architectures trained using hand-designed features. The power of deep networks stems both from their ability to perform local computations followed by pointwise non-linearities over increasingly larger receptive fields, and from the simplicity and scalability of the gradient-descent training procedure based on backpropagation. An open problem is the inclusion of layers that perform global, structured matrix computations like segmentation (e.g. normalized cuts) or higher-order pooling (e.g. log-tangent space metrics defined over the manifold of symmetric positive definite matrices) while preserving the validity and efficiency of an end-to-end deep training framework. In this paper we propose a sound mathematical apparatus to formally integrate global structured computation into deep computation architectures. At the heart of our methodology is the development of the theory and practice of backpropagation that generalizes to the calculus of adjoint matrix variations. The proposed matrix backpropagation methodology applies broadly to a variety of problems in machine learning or computational perception. Here we illustrate it by performing visual segmentation experiments using the BSDS and MSCOCO benchmarks, where we show that deep networks relying on second-order pooling and normalized cuts layers, trained end-to-end using matrix backpropagation, outperform counterparts that do not take advantage of such global layers.

研究の動機と目的

• セグメンテーションや高階のプーリングのような、グローバルで構造的な行列演算を組み込んだ深層ニューラルネットワークのエンドツーエンド学習を可能にすること。
• アドジョイント行列の変化を用いた行列関数のバックプロパゲーションの一般化を形式化すること。
• 視覚認識タスクにおける構造的層の統合の可能性と性能向上を実証すること。
• 深層学習におけるスペクトル的および非線形行列演算を微分可能に処理する厳密な数学的基盤を提供すること。

提案手法

• アドジョイント行列の変化の微積分に基づく、バックプロパゲーションの行列一般化を開発し、構造的行列関数を介した勾配計算を可能にする。
• フレームワークを2つの主要な構造的層に適用：対数共分散記述子を用いた2次結合プーリングと、画像セグメンテーション用の正規化カット。
• 行列内積や恒等式（例：フロベニウスノルム、ハダマード積）を用いて、スペクトル的および非線形演算の解析的勾配を導出する。
• 行列対数関数や固有値分解などの行列関数の勾配の閉形式表現を導出する。
• MATLABで実装し、GPU上でリアルタイム推論（1秒あたり2～3枚の画像）を実現して検証する。
• 構造的層を深層ネットワークアーキテクチャに統合し、局所的な畳み込み層とグローバルな行列層の共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 正規化カットや2次結合プーリングのようなグローバルで構造的な行列演算を、エンドツーエンドの深層学習フレームワークに統合できるか？
• RQ2 行列関数とその変化を微分可能に扱えるように、バックプロパゲーションをどのように一般化できるか？
• RQ3 構造的層を学習可能にした場合、固定または手作業で設計された代替手法と比較して、セグメンテーション性能にどのような影響を与えるか？
• RQ4 提案されたマトリクスバックプロパゲーション手法は、非線形的およびスペクトル的行列演算を効率的に勾配計算できるか？

主な発見

• マトリクスバックプロパゲーションを用いた深層ネットワークは、BSDS や MSCOCO ベンチマークにおいて、標準的なネットワークよりも優れた性能を発揮する。特に画像セグメンテーションタスクで顕著な向上が見られる。
• 2次結合プーリングおよび正規化カット層の統合により、定量的および定性的に顕著なセグメンテーション結果の改善が達成された。
• トレーニング中に類似度行列のランクを低減させることで性能向上が見られ、グローバル構造の有効な学習が行われていることが示された。
• Titan Z GPU上で1秒あたり約2～3枚の画像のリアルタイムトレーニングと推論が可能であり、実用的可行性が裏付けられた。
• 提案されたフレームワークは、局所的およびグローバルな層の両方を微分可能に処理でき、エンドツーエンドの微分可能性を維持する。
• 実験により、予測された類似度行列の初期ランクが真値に近い場合、ランクの低減が発生し、セグメンテーション精度が向上することが示された。