[論文レビュー] Generalized BackPropagation, Étude De Cas: Orthogonality

Mehrtash Harandi, Basura Fernando|arXiv (Cornell University)|Nov 17, 2016

Face and Expression Recognition参考文献 34被引用数 43

ひとこと要約

本稿では、構造的重み層（特に直交（Stiefel）層）を備えた深層ネットワークを訓練するためのリーマン最適化を用いたバックプロパゲーションの拡張版である一般化バックプロパゲーション（gBP）を紹介する。この手法により、直交性などの制約を維持でき、一般化性能の向上とパラメータ数の削減が達成され、細粒度画像分類ベンチマークで最先端の性能を示しながら、モデルサイズを顕著に削減する。

ABSTRACT

This paper introduces an extension of the backpropagation algorithm that enables us to have layers with constrained weights in a deep network. In particular, we make use of the Riemannian geometry and optimization techniques on matrix manifolds to step outside of normal practice in training deep networks, equipping the network with structures such as orthogonality or positive definiteness. Based on our development, we make another contribution by introducing the Stiefel layer, a layer with orthogonal weights. Among various applications, Stiefel layers can be used to design orthogonal filter banks, perform dimensionality reduction and feature extraction. We demonstrate the benefits of having orthogonality in deep networks through a broad set of experiments, ranging from unsupervised feature learning to fine-grained image classification.

研究の動機と目的

• 標準的なバックプロパゲーションが、重み行列の構造的制約（例：直交性）を保持できないという限界に対処すること。
• 行列多様体上の最適化をサポートする一般化バックプロパゲーションアルゴリズム（gBP）を開発すること。
• 完全結合層としてのStiefel層（直交重み行列を備えた層）を導入すること。
• 自己教師あり特徴抽出と教師あり画像分類の両タスクにおいて、深層ネットワークにおける直交性の利点を実験的に評価すること。
• SVDを用いたエネルギー保持によるStiefel層を用いた低ランク近似により、完全結合層を簡略化し、パラメータ数を削減しながら精度を向上させること。

提案手法

• gBPアルゴリズムは、勾配降下法における重み行列の制約を維持するために、リーマン最適化技術を標準的なバックプロパゲーションに統合する。
• 直交行列の集合として定義されるStiefel多様体を用い、完全結合層の重み行列における直交性を強制する。
• 勾配はStiefel多様体の接空間に射影され、リーマン共役勾配法や類似手法を用いて最適化が行われる。
• Stiefel層は、LeNet、AlexNet、VGGなどの深層ネットワークに統合され、標準的な完全結合層に置き換えられる。
• 完全結合層の低ランク近似は、2つのStiefel層を用いて構築され、SVDを用いて重み行列のエネルギーを保持する。
• 適応的学習率と微調整を用いて、標準的な画像分類データセットで訓練を行い、精度とパラメータ数の両方を評価する。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションは、深層ネットワーク重みにおける直交性などの構造的制約を保持できるように一般化できるか？
• RQ2 完全結合層における直交性の強制が、画像分類タスクにおける一般化性能や性能に与える影響は何か？
• RQ3 Stiefel層を用いた低ランク近似により、深層ネットワークを簡略化できるか？その際、精度を維持または向上できるか？
• RQ4 Stiefel層の次元が、細粒度認識タスクにおける分類性能に与える影響は何か？
• RQ5 Stiefel層は、アーキテクチャの微調整なしに、細粒度画像分類において特化型アーキテクチャと同等の性能を達成できるか？

主な発見

• Stiefel層の導入により、STL-10データセットにおけるLeNetの精度が51.4%から62.1%に向上した。
• CUB-200鳥類データセットにおいて、AlexNetの精度が68.4%から70.5%に上昇した。
• Cars-196データセットにおけるVGG-VDでは、Stiefel層の導入により精度が86.0%から87.9%に向上した。
• VGG-Mのfc7層を、低ランクStiefelベースの近似に置き換えることで、パラメータ数を16.7Mから745Kに削減し、精度を77.5%から82.0%に向上させた。
• Birdsデータセットでは、64次元のStiefel層が75.6%の精度を達成し、低次元でも優れた性能を示した。
• Aircraftsデータセットでは、Stiefel層が84.3%の精度を達成し、アーキテクチャの微調整なしにB-CNN（84.1%）と同等の性能を示した。