[論文レビュー] Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation

Zhenda Xie, Zheng Zhang+3 more|arXiv (Cornell University)|Mar 19, 2020

Advanced Neural Network Applications参考文献 38被引用数 10

ひとこと要約

本稿では、活性応答に基づいて特徴マップの位置を確率的にサンプリングし、学習された補間によって完全な特徴マップを再構築することで、CNNにおける計算量を低減する空間的に適応する推論手法を提案する。Gumbel-Softmax再パラメータ化トリックを用いることで、バイナリーサンプリングマスクの微分可能訓練が可能となり、物体検出、セマンティックセグメンテーション、画像分類のタスクにおいて顕著なFLOPs削減が達成されつつ、精度の低下は最小限に抑えられる。

ABSTRACT

In the feature maps of CNNs, there commonly exists considerable spatial redundancy that leads to much repetitive processing. Towards reducing this superfluous computation, we propose to compute features only at sparsely sampled locations, which are probabilistically chosen according to activation responses, and then densely reconstruct the feature map with an efficient interpolation procedure. With this sampling-interpolation scheme, our network avoids expending computation on spatial locations that can be effectively interpolated, while being robust to activation prediction errors through broadly distributed sampling. A technical challenge of this sampling-based approach is that the binary decision variables for representing discrete sampling locations are non-differentiable, making them incompatible with backpropagation. To circumvent this issue, we make use of a reparameterization trick based on the Gumbel-Softmax distribution, with which backpropagation can iterate these variables towards binary values. The presented network is experimentally shown to save substantial computation while maintaining accuracy over a variety of computer vision tasks.

研究の動機と目的

• 特徴マップ内の空間的冗長性を活用することで、リソース制限のあるデバイスにおける深層CNNの高い計算コストを軽減すること。
• 活性応答が低い領域でのみ計算をスキップする決定的スパarsity手法の非効率性を克服すること。
• バイナリーサンプリングの決定が微分不能であるにもかかわらず、エンドツーエンドの訓練を可能にする微分可能なサンプリング機構を開発すること。
• 高応答領域に集中させず、特徴マップ全体にわたってサンプルを分散させることで、活性応答予測の誤差に対するロバスト性を向上させること。
• さまざまなビジョンタスクにおいて、既存のスパース推論手法よりも優れたFLOPs-精度トレードオフを達成すること。

提案手法

• 活性応答の大きさに応じて確率的に空間的位置をサンプリングする確率的サンプリング戦略を提案し、特徴マップを確率的フィールドとして扱う。
• Gumbel-Softmax再パラメータ化トリックを用い、連続的リラクゼーションを通じてバイナリーサンプリングマスクの逆誤差伝搬を可能にする。
• 特徴マップの活性応答に応じて動的にサンプリング密度を調整するコンテンツに適応したサンプリングモジュールを訓練する。
• サンプリングモジュールと同時に最適化される学習可能な補間カーネルを用いて特徴再構築を実行する。
• 補間の安定性を高めるために、特徴マップ全体に均等に分布するサンプルを含むスパースグリッド事前分布を導入する。
• 精度と計算効率の両立を図る微分可能な損失関数を用いて、サンプリングおよび補間モジュールをエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 確率的でコンテンツに適応したサンプリングは、精度を損なわずCNNにおける計算量を低減できるか？
• RQ2 提案されたGumbel-Softmax再パラメータ化トリックは、バイナリーサンプリング決定の微分可能訓練をどのように可能にするか？
• RQ3 グリッド事前分布の導入は、補間品質および推論の安定性を向上させるか？
• RQ4 FLOPs-精度トレードオフの観点から、本手法は決定的スパarsityおよび均一サンプリングと比較してどのように優れているか？
• RQ5 本手法は、さまざまなアーキテクチャおよびビジョンタスクにどの程度一般化可能か？

主な発見

• 提案手法は、COCO物体検出およびCityscapesセマンティックセグメンテーションにおいて、FLOPsを最大50％まで削減しつつ、ベースライン手法と同等または優れたmAPを維持する。
• COCOバリデーションセットにおいて、ResNeXt-101を用いて158.6 GFLOPsで44.1 mAPを達成し、同じFLOPレベルにおける均一サンプリングを上回る性能を示した。
• 推論の安定性は高く、5回の実行におけるmAPの分散は0.02未満であり、グリッド事前分布を除去すると著しく低下（0.09に増加）する。
• Gumbel-Softmaxスケジュールの最終温度は性能にほとんど影響せず、テストした値においてmAP差が0.2未満、FLOPs差が3 GFLOPs未塔である。
• より深い残差ブロックでは高いスパarsity（例：損失重みが低い場合に最大90％）を示しており、意味的特徴における空間的冗長性が顕著であることが示された。
• 本手法はタスク全体にわたり優れた性能を維持する：ImageNetではFLOPsを削減しながらベースラインモデルと同等の精度を達成し、COCOおよびCityscapesでは均一サンプリングを上回る性能を示した。