[論文レビュー] Rethinking FUN: Frequency-Domain Utilization Networks

Kfir Goldberg, Stav Shapiro+2 more|arXiv (Cornell University)|Dec 6, 2020

Software Testing and Debugging Techniques参考文献 26被引用数 10

ひとこと要約

この論文は、RGBピクセルの代わりに離散コサイン変換（DCT）係数上で直接動作するCNNのファミリーである周波数ドメイン利用ネットワーク（FUN）を紹介している。これにより、モデルサイズと推論遅延を大幅に削減できる。複合スケーリングや逆残差ブロックといった現代的なアーキテクチャ的要素を活用することで、FUNモデルはImageNet上で最先端の精度を達成し、再訓練を伴わずに動的入力圧縮をサポートする。eFUNはEfficientNet-B0と比較して20%小さく、65%速く、精度の低下は最小限に抑えられる。

ABSTRACT

The search for efficient neural network architectures has gained much focus in recent years, where modern architectures focus not only on accuracy but also on inference time and model size. Here, we present FUN, a family of novel Frequency-domain Utilization Networks. These networks utilize the inherent efficiency of the frequency-domain by working directly in that domain, represented with the Discrete Cosine Transform. Using modern techniques and building blocks such as compound-scaling and inverted-residual layers we generate a set of such networks allowing one to balance between size, latency and accuracy while outperforming competing RGB-based models. Extensive evaluations verifies that our networks present strong alternatives to previous approaches. Moreover, we show that working in frequency domain allows for dynamic compression of the input at inference time without any explicit change to the architecture.

研究の動機と目的

• 精度、モデルサイズ、推論遅延のバランスを取った効率的なニューラルネットワークアーキテクチャの設計。
• CNNの入力としてRGBとは異なる周波数ドメイン表現（DCTを介して）の利用を検討すること。
• 再訓練を伴わずに推論時に動的入力圧縮を可能にするために、DCT表現の固有の性質を活用すること。
• 複合スケーリングおよびMBConvや逆残差ブロックといった現代的な構築ブロックを用いて、スケーラブルなモデルファミリーを開発すること。
• 学習可能なDCTに類似したレイヤーが、固定DCT変換を上回るか置き換えることができるかどうかを評価すること。効率性と圧縮利点を維持したまま。

提案手法

• ネットワークは、画像をYCbCrに変換し、各8×8ブロックに離散コサイン変換（DCT）を適用することで周波数ドメイン特徴マップを得る。
• 著者らは2つの主要なアーキテクチャを設計した：残差ブロックに基づくResFUNと、逆残差（MBConv）ブロックに基づくeFUNで、両者ともDCT係数上で直接動作する。
• 複合スケーリングを適用して、精度、サイズ、遅延のバランスを取るために、深さ、幅、解像度を変化させたFUNモデルのファミリーを生成する。
• 入力圧縮は、推論時に高周波数DCT係数をゼロにすることで実現し、低周波数が知覚的コンテンツを支配することを活用している。
• 学習可能なDCTレイヤーは、DCTに類似したフィルタを持つ畳み込み層として導入され、単独で訓練（LeFUN）またはエンドツーエンドで訓練（LeFUN-e2e）することで、固定DCTを置き換える。
• 標準的な指標（トップ1精度、パラメータ数、FLOPs）を用いてImageNet上でモデルを評価し、入力チャネル削減に関するアブレーションも実施。

実験結果

リサーチクエスチョン

• RQ1 DCTによる周波数ドメイン表現は、精度を損なわずにモデルサイズと推論遅延の面でCNNの効率性を向上させることができるか？
• RQ2 DCTベースのモデルにおいて、再訓練なしに推論時に動的入力圧縮をどの程度実現できるか、性能の低下なしに？
• RQ3 学習可能なDCTに類似したレイヤーと固定DCT変換の間で、周波数ドメインネットワークにおける精度と効率性の観点から、どのような差が生じるか？
• RQ4 MBConvや複合スケーリングといった現代的なアーキテクチャ的要素を、周波数ドメイン入力に効果的に適応できるか？スケーラブルで効率的なモデルを構築できるか？
• RQ5 高周波数DCT係数を削除した際のモデル精度への影響は何か？これは、内在的な動的圧縮を支持するものか？

主な発見

• eFUNモデルはImageNet上でのEfficientNet-B0と比較して20%小さく、65%速く、トップ1精度の低下はわずかである。
• 入力DCTチャネルを192から88（54%削減）に減らしても、トップ1精度はわずか1%低下する。これは強力な動的圧縮能力を示している。
• 入力チャネルの75%を削除（192から48に）した場合、精度は7.5%低下するが、これは高周波成分が分類にあまり重要でないことを示している。
• LeFUN-e2eバージョンは77.2%のトップ1精度を達成し、固定eFUNモデル（77.0%）をわずかに上回るが、モデルサイズが増加し、解釈性が失われる。
• LeFUNおよびLeFUN-e2eで学習されたフィルタは、標準的なDCTフィルタとは顕著に異なる。これは、学習されたフィルタがDCTの構造的・周波数順序の性質を完全に再現していないことを示している。
• 固定DCT表現は、動的入力圧縮を内在的にサポートしているが、学習可能な変換ではこの特徴が失われ、新しい圧縮レベルを求めるために再訓練が必要になる。