[論文レビュー] Less is More: Accelerating Faster Neural Networks Straight from JPEG

Samuel Felipe dos Santos, Jurandy Almeida|arXiv (Cornell University)|Mar 31, 2021

Advanced Neural Network Applications参考文献 13被引用数 8

ひとこと要約

本稿では、データ駆動的にすべてのDCT係数を組み合わせ、早期のネットワーク段階をスキップすることで、JPEG圧縮ドメインの畳み込みニューラルネットワークの処理を高速化する手法を提案する。チャネルごとの投影（CCPP）と早期層のプルーニングを用いることで、計算コストを50%削減しながらImageNet上での精度を向上させ、高周波DCT係数を破棄するか、モデルの複雑さを増加させる既存手法を上回る。

ABSTRACT

Most image data available are often stored in a compressed format, from which JPEG is the most widespread. To feed this data on a convolutional neural network (CNN), a preliminary decoding process is required to obtain RGB pixels, demanding a high computational load and memory usage. For this reason, the design of CNNs for processing JPEG compressed data has gained attention in recent years. In most existing works, typical CNN architectures are adapted to facilitate the learning with the DCT coefficients rather than RGB pixels. Although they are effective, their architectural changes either raise the computational costs or neglect relevant information from DCT inputs. In this paper, we examine different ways of speeding up CNNs designed for DCT inputs, exploiting learning strategies to reduce the computational complexity by taking full advantage of DCT inputs. Our experiments were conducted on the ImageNet dataset. Results show that learning how to combine all DCT inputs in a data-driven fashion is better than discarding them by hand, and its combination with a reduction of layers has proven to be effective for reducing the computational costs while retaining accuracy.

研究の動機と目的

• JPEG圧縮画像を処理するCNNにおける計算複雑度を、精度を損なわず低減すること。
• 高周波DCT係数を破棄するか、モデルパラメータ数やFLOPsを増加させる既存手法の制限を克服すること。
• ヒューリスティックなフィルタリングやプルーニングではなく、すべてのDCT係数のデータ駆動的融合を検討すること。
• JPEGドメインにおける早期ネットワーク段階のスキップが、精度と効率に与える影響を評価すること。
• アーキテクチャの簡素化を段階スキップによって実現した場合、知的なDCT入力処理と組み合わせて性能向上が達成できるかを示すこと。

提案手法

• 1つの8×8ブロックあたりの64個のすべてのDCT係数をデータ駆動的に統合するためのチャネルごとの畳み込み投影（CCPP）を用いた学習戦略を提案し、豊富な周波数情報を保持する。
• RGB復号を経由せずにDCT係数を直接入力できるように変更されたResNet-50アーキテクチャを採用する。
• ネットワークの最初の2段階をスキップする戦略を導入し、CCPPによる入力チャネルの一貫性を維持しながらFLOPsとパラメータ数を削減する。
• 標準の畳み込み層をDCTに適応した操作に置き換えた残差ブロック設計を採用し、周波数ドメイン処理を維持する。
• 段階的なネットワーク深さの低減を実施し、さまざまな段階スキップ設定における性能を評価する。
• SOTA（最先端）のDCTベースモデルと比較して、ImageNet上で精度、FLOPs、パラメータ数を検証する。

実験結果

リサーチクエスチョン

• RQ1 すべてのDCT係数をデータ駆動的に統合することで、高周波成分のヒューリスティックなフィルタリングやプルーニングに比べて性能が向上するか？
• RQ2 DCTベースのCNNで最初の段階をスキップすることで、計算コストを低減しつつ精度を向上または維持できるか？
• RQ3 CCPPを用いたチャネル投影は、最初の段階で入力チャネルを64から128に削減しても、特徴表現を効果的に維持できるか？
• RQ4 DCT入力統合と段階スキップの組み合わせは、既存の最先端DCTベースモデルと比較して、FLOPsと精度の面で優れているか？
• RQ5 段階スキップによる性能向上は、入力表現戦略（例：CCPP対FBS）に依存するか？

主な発見

• 最初の2段階をスキップすることで、計算複雑度は2.86 GFLOPsに、パラメータ数は25.1Mにまで低減され、速度と精度の最良のトレードオフが達成された。
• 提案手法はImageNetサブセットで71.21%のトップ-1精度、粗いバリデーションスプリットで70.49%のトップ-1精度を達成し、既存のDCTベースモデルを上回った。
• すべてのDCT係数をデータ駆動的にCCPPで統合することで、50%の係数を破棄するFBS手法よりも性能が向上し、DCT入力の完全利用が有益であることが実証された。
• 計算コストを削減しながらも、フルImageNetでのトップ-1精度は94.84%を維持し、DCTベースモデルの中で2位の順位を獲得した。
• CCPPと段階スキップの組み合わせ戦略は、モデルの深さを増やすか、ヒューリスティックなDCTフィルタリングを用いるよりもはるかに効果的であることが示された。
• 結果から、知的な入力表現学習と組み合わせた段階スキップによるアーキテクチャの簡素化が、性能向上に寄与することが明らかになった。