[論文レビュー] SORT: Second-Order Response Transform for Visual Recognition

Yan Wang, Lingxi Xie+4 more|arXiv (Cornell University)|Mar 20, 2017

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 4

ひとこと要約

本稿では、2本の特徴マップの線形和に要素ごとの積演算を追加することで、深層畳み込みニューラルネットワークの性能を向上させる軽量モジュール「Second-Order Response Transform (SORT)」を提案する。2次相互作用を導入することで、ブランチ間の情報フローと非線形性が向上し、CIFARおよびImageNetベンチマークにおいて一貫した精度向上が得られ、推論オーバーヘッドは5%未満に抑えられる。

ABSTRACT

In this paper, we reveal the importance and benefits of introducing second-order operations into deep neural networks. We propose a novel approach named Second-Order Response Transform (SORT), which appends element-wise product transform to the linear sum of a two-branch network module. A direct advantage of SORT is to facilitate cross-branch response propagation, so that each branch can update its weights based on the current status of the other branch. Moreover, SORT augments the family of transform operations and increases the nonlinearity of the network, making it possible to learn flexible functions to fit the complicated distribution of feature space. SORT can be applied to a wide range of network architectures, including a branched variant of a chain-styled network and a residual network, with very light-weighted modifications. We observe consistent accuracy gain on both small (CIFAR10, CIFAR100 and SVHN) and big (ILSVRC2012) datasets. In addition, SORT is very efficient, as the extra computation overhead is less than 5%.

研究の動機と目的

• 深層ネットワークにおける線形融合の表現能力の限界を解消し、複雑な特徴分布をモデル化する能力を向上させること。
• 特徴融合に線形和のみに依存する標準的な残差ネットワークやマルチブランチネットワークの制限を克服すること。
• 計算コストを著しく増加させることなく、非線形性とブランチ間情報フローを向上させるシンプルで効果的なモジュールの開発。
• チェーン構造や残差構造を含む多様なアーキテクチャにおいて、小規模および大規模な視覚認識タスクで一貫した性能向上を実現すること。
• Caltech256での転移学習など、下流タスクへの適応性を実証すること。

提案手法

• 2本のブランチ出力を、$\mathbf{F}_1(\mathbf{x}) + \mathbf{F}_2(\mathbf{x}) + \mathbf{F}_1(\mathbf{x}) \odot \mathbf{F}_2(\mathbf{x})$ という2次演算により融合する2ブランチネットワークモジュールを提案。線形和と要素ごとの積を組み合わせることで、非線形性を向上。
• 残差ブロックにSORTを適用する際、恒等ショートカット接続を $\mathbf{x} + \mathbf{F}(\mathbf{x}) + \sqrt{\mathbf{x} \odot \mathbf{F}(\mathbf{x})}$ に変更。これにより、残差学習を維持しながら非線形性を導入。
• ブランチ間応答伝播を導入：バックプロパゲーション中に、積項を介して他方のブランチの現在の状態に基づいて重みを更新。
• 要素ごとの演算のみを追加することで計算効率を確保。結果として、追加計算量は5%未満、メモリ使用量の増加はなし。
• AlexNetおよびResNetの分岐型変種など、多様なアーキテクチャにSORTを統合。構造的変更は最小限に抑えられる。
• CIFAR10、CIFAR100、SVHN、ILSVRC2012の各データセットおよびネットワーク深さの多様性を考慮した標準的な訓練プロトコルと評価指標を用いて、性能を検証。

実験結果

リサーチクエスチョン

• RQ1 要素ごとの積のような2次演算を導入することで、線形融合を超えた深層畳み込みニューラルネットワークの表現能力が向上するか？
• RQ2 2次変換の追加が、順伝播および逆伝播の両過程でブランチ間の情報フローを向上させるか？
• RQ3 チェーン構造ネットワークや残差ネットワークなど、多様なアーキテクチャに、顕著な計算コスト増加なしにSORTを効率的に適用できるか？
• RQ4 SORTによる非線形性の向上が、小規模（CIFAR）および大規模（ImageNet）データセットの両方で一貫した精度向上をもたらすか？
• RQ5 SORTで学習された特徴は、Caltech256などの外部データセットにおける転移学習のシナリオにどの程度一般化可能か？

主な発見

• CIFAR10では、分岐型AlexNetにSORTを適用したところ、トップ-1誤差が36.71%から35.99%に低下し、相対的に1.96%の改善が得られた。
• CIFAR100では、トップ-1誤差が14.77%から14.46%に低下し、ベースライン比で2.10%の相対的低減が達成された。
• ILSVRC2012では、ResNet-18のトップ-1誤差が34.50%から32.37%に低下し、相対的に6.17%の改善が得られ、ResNetT-50では23.82%から23.10%に改善した。
• 4-GPUマシン上での実行で、追加計算時間は5%未満に抑えられ、メモリ消費量の増加もなかった。これにより、計算効率が確認された。
• Caltech256における転移学習実験では、SORTを強化したモデルのpool-5層で74.88%の精度を達成。ベースラインのAlexNet*（74.20%）およびAlexNet（69.19%）を上回った。
• 学習曲線の分析から、一部のケースでは収束がわずかに遅くなる可能性があるものの、あらゆるアーキテクチャにおいて最終的な汎化性能が一貫して向上することが示された。