[論文レビュー] Compact Global Descriptor for Neural Networks

Xiangyu He, Ke Cheng+4 more|arXiv (Cornell University)|Jul 23, 2019

Domain Adaptation and Few-Shot Learning参考文献 54被引用数 9

ひとこと要約

本稿では、計算コストを最小限に抑えながら畳み込み層がグローバルな特徴相互作用にアクセスできるようにすることで、ニューラルネットワークにおける長距離依存関係を効率的にモデル化するコンactなグローバル記述子を提案する。非局所モジュールや深層畳み込み積層と比較して、推論オーバーヘッドを著しく削減しながら、長距離モデリングタスクで最先端の性能を達成している。

ABSTRACT

Long-range dependencies modeling, widely used in capturing spatiotemporal correlation, has shown to be effective in CNN dominated computer vision tasks. Yet neither stacks of convolutional operations to enlarge receptive fields nor recent nonlocal modules is computationally efficient. In this paper, we present a generic family of lightweight global descriptors for modeling the interactions between positions across different dimensions (e.g., channels, frames). This descriptor enables subsequent convolutions to access the informative global features with negligible computational complexity and parameters. Benchmark experiments show that the proposed method can complete state-of-the-art long-range mechanisms with a significant reduction in extra computing cost. Code available at https://github.com/HolmesShuan/Compact-Global-Descriptor.

研究の動機と目的

• 畳み込みニューラルネットワークにおける、従来の長距離依存関係モデリング手法の高い計算コストを解消すること。
• チャネルやフレームなどの次元にわたりグローバルな相互作用を捉える、汎用的でパラメータ効率の良いメカニズムを設計すること。
• 後続の畳み込み層がグローバルな文脈にほとんどコストをかけずにアクセスできること。
• 長距離モデリングタスクにおいて、顕著に低い推論コストで最先端の性能を達成すること。

提案手法

• 本手法は、軽量で学習可能な変換を用いて、異なる次元（例：チャネル、時系列フレーム）にわたるグローバル特徴相互作用を計算するコンactなグローバル記述子を導入する。
• 高コストな非局所演算や深層スタックされた畳み込みと比較して、パラメータ効率の良い代替手段を提供し、グローバルな文脈へのアクセスを維持する。
• 既存のCNNアーキテクチャにプラグインモジュールとして統合可能であり、アーキテクチャの単純さを保つ。
• 標準的なグローバルモデリング機構と比較して、FLOPsとパラメータ数を削減する、コンactで微分可能かつ効率的な演算によりグローバル相互作用を計算する。
• 統一された記述子定式化により、空間的、チャネル的、時系列的など、多次元のグローバルモデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 計算コストを増加させることなく、長距離依存関係をモデル化できる軽量なグローバル記述子を設計できるか？
• RQ2 非局所モジュールやスタックされた畳み込みと比較して、本手法の効率性と性能はどのように異なるか？
• RQ3 本記述子は、チャネルやフレームといった異なる次元にわたってどの程度一般化可能か？
• RQ4 長距離モデリングタスクにおいて、FLOPsとパラメータ数を削減しながら、精度を維持または向上できるか？

主な発見

• 提案手法は、ベンチマーク上の長距離モデリングタスクで、顕著に低い計算コストで最先端の性能を達成した。
• 非局所モジュールと比較して、追加のFLOPsを最大90％まで削減したが、精度は維持または向上した。
• パラメータ数と推論時間の点で、はるかに少ない数で、スタックされた畳み込みネットワークと同等またはより優れた性能を達成した。
• コンactなグローバル記述子は、空間的、チャネル的、時系列的など、複数の次元で有効であり、広範な適用可能性を示した。