[論文レビュー] Deep Hyperspherical Learning

Weiyang Liu, Yan‐Ming Zhang+5 more|arXiv (Cornell University)|Nov 8, 2017

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 55

ひとこと要約

SphereNet は hyperspheres 上で内積畳み込みを SphereConv に置換し、角度に基づく GA-Softmax 損失を使用します。これにより、ネットワーク全体で訓練の安定性、収束速度、および精度が向上します。

ABSTRACT

Convolution as inner product has been the founding basis of convolutional neural networks (CNNs) and the key to end-to-end visual representation learning. Benefiting from deeper architectures, recent CNNs have demonstrated increasingly strong representation abilities. Despite such improvement, the increased depth and larger parameter space have also led to challenges in properly training a network. In light of such challenges, we propose hyperspherical convolution (SphereConv), a novel learning framework that gives angular representations on hyperspheres. We introduce SphereNet, deep hyperspherical convolution networks that are distinct from conventional inner product based convolutional networks. In particular, SphereNet adopts SphereConv as its basic convolution operator and is supervised by generalized angular softmax loss - a natural loss formulation under SphereConv. We show that SphereNet can effectively encode discriminative representation and alleviate training difficulty, leading to easier optimization, faster convergence and comparable (even better) classification accuracy over convolutional counterparts. We also provide some theoretical insights for the advantages of learning on hyperspheres. In addition, we introduce the learnable SphereConv, i.e., a natural improvement over prefixed SphereConv, and SphereNorm, i.e., hyperspherical learning as a normalization method. Experiments have verified our conclusions.

研究の動機と目的

• 深いCNNにおける深さと大規模なパラメータ空間によって生じる訓練の難しさに対処する。
• 最適化と汎化を改善するために、ハイパースフィア（SphereConv）と角度監視を提案する。
• Learnable SphereConv および SphereNorm を含む SphereNet のバリアントを開発する。
• CIFAR および ImageNet のような大規模データセットにおいて、収束の改善と競争力ある／最先端の精度を示す。

提案手法

• SphereConv を、単位球面上のコサイン様の角度的類似度として定義し、3つのインスタンス：linear、cosine、sigmoid（および学習可能なバリアント）を用意する。
• 標準畳み込みを SphereConv に置換し、一般化角度ソフトマックス（GA-Softmax）損失で監視する（W-Softmax を特別な場合として含む）。
• 球面上の最適化の条件付けを改善することを示す理論的洞察を提供する（重みノルム感度を回避する）。
• SphereConv を全結合層および既存アーキテクチャ（例：VGG、GoogLeNet、ResNet）に拡張し、補完的な正規化として SphereNorm を適用する。
• SphereConv の訓練戦略、逆伝播、およびカーネルの近似直交性による正則化について論じる。

実験結果

リサーチクエスチョン

• RQ1 深いネットワークにおけるハイパースフィア学習は、条件付けと最適化速度を改善しますか？
• RQ2 SphereConv と角度損失は、アーキテクチャとデータセットを超えて、従来の内積畳み込みより一貫して性能を上回りますか？
• RQ3 異なる SphereConv バリアント（linear、cosine、sigmoid）と GA-Softmax 損失は、精度と訓練の安定性の点でどう比較されますか？
• RQ4 SphereNorm として正規化機能を効果的に果たし、さらなる改善のための学習可能なパラメータを可能にしますか？

主な発見

• SphereConv 演算は、アーキテクチャと損失選択にかかわらず、元の畳み込みを一貫して上回る。
• 適切に選択されたパラメータを持つ Sigmoid SphereConv は、試験されたバリアントの中でしばしば最高の精度をもたらす。
• SphereNet はより速い収束と高い安定性を達成し、残差ショートカットなしで非常に深いプレーンネットワークの訓練を可能にする。
• 学習可能な SphereConv はさらなる性能向上を示し、層ごとの角度パラメータの適応が有益であることを示唆する。
• SphereNorm は BatchNorm を補完し、一緒に使用されると性能を向上させ得る。