[論文レビュー] Frequency learning for image classification

José Augusto Stuchi, Levy Boccato+1 more|arXiv (Cornell University)|Jun 28, 2020

Image and Signal Denoising Methods参考文献 15被引用数 11

ひとこと要約

本稿では、画像分類の精度を向上させるために、フーリエ空間で学習可能な周波数フィルタを適用する軽量なディープラーニングアーキテクチャ、FreqNetを提案する。画像パッチをDFTによって周波数領域に変換し、バックプロパゲーションによる逆伝播で判別性の高いスペクトル成分を学習することで、AlexNetに比べ100倍少ないパラメータで、Kylbergでは99.73%、白内障検出では93.00%、画像品質分類では98.30%の競争力ある精度を達成した。これは、効率的でリアルタイム対応のモデルにおける周波数ドメイン学習の可能性を示している。

ABSTRACT

Machine learning applied to computer vision and signal processing is achieving results comparable to the human brain on specific tasks due to the great improvements brought by the deep neural networks (DNN). The majority of state-of-the-art architectures nowadays are DNN related, but only a few explore the frequency domain to extract useful information and improve the results, like in the image processing field. In this context, this paper presents a new approach for exploring the Fourier transform of the input images, which is composed of trainable frequency filters that boost discriminative components in the spectrum. Additionally, we propose a slicing procedure to allow the network to learn both global and local features from the frequency-domain representations of the image blocks. The proposed method proved to be competitive with respect to well-known DNN architectures in the selected experiments, with the advantage of being a simpler and lightweight model. This work also raises the discussion on how the state-of-the-art DNNs architectures can exploit not only spatial features, but also the frequency, in order to improve its performance when solving real world problems.

研究の動機と目的

• 空間ドメインの畳み込みネットワークにとどまらず、画像分類における周波数ドメインの活用を検討すること。
• 手作業で設計されたスペクトル特徴に依存せず、周波数ドメイン特徴を直接学習する新しいニューラルネットワークアーキテクチャの開発。
• ブロック単位のフーリエ変換を用いて、グローバルおよびローカルな画像特徴を捉える周波数ドメイン表現を活用することで、モデルの効率性を向上させること。
• 周波数ドメイン学習が、特にスペクトル成分が強い画像分類タスクにおいて、最先端のDNNと同等またはそれ以上の性能を発揮できるかどうかを評価すること。
• 周波数ドメインのディープラーニングが、リアルタイムおよびモバイルアプリケーションに適した実用性と利点を示すこと。

提案手法

• 空間データを周波数ドメインに変換するために、重複のない小規模な画像パッチに対して離散フーリエ変換（DFT）を適用する。
• 各パッチのマグニチュードスペクトルに、学習可能な周波数フィルタを適用して判別性の高い周波数成分を強調する。
• スライシング手順を用いて、グローバル（全体画像）およびローカル（パッチレベル）の周波数表現を抽出し、特徴学習を向上させる。
• バックプロパゲーションを用いて、トレーニング中に周波数フィルタの重みを更新することで、スペクトル特徴のエンドツーエンド学習を可能にする。
• 周波数フィルタを適用した表現を、全結合層を介して処理し、最終的な分類出力を得るネットワークアーキテクチャ（FreqNet）を構築する。
• 標準的な確率的勾配降下法と交差エントロピー損失関数を用いてモデルを学習し、すべての操作が微分可能であるため、バックプロパゲーションが可能である。

実験結果

リサーチクエスチョン

• RQ1 空間ドメインの最先端モデルと比較して、周波数ドメインで直接学習するディープニューラルネットワークが、画像分類タスクで競争力ある性能を達成できるか。
• RQ2 固定された手作業で設計されたスペクトル特徴と比較して、学習可能なフィルタを用いた周波数ドメイン特徴の学習は、精度と効率の面でどのように異なるか。
• RQ3 スライシングに基づくブロック処理戦略を用いることで、周波数ドメイン表現がグローバルおよびローカルな画像特徴を効果的に捉えることができるか。
• RQ4 どのような種類の画像分類問題において、周波数ドメイン学習が空間ドメイン学習を上回る性能優位性を示すか。
• RQ5 軽量な周波数ベースのモデルが、特定の実世界の応用において、より深くパラメータが多いDNNを凌駆できるか。

主な発見

• Kylbergテクスチャデータセットでは、FreqNetが99.73%の精度を達成したが、AlexNetの99.82%よりわずかに低いが、パラメータ数は100倍少ない。
• 白内障検出データセットでは、FreqNetが93.00%の精度を達成し、微調整済みAlexNet（87.00%）を上回った。これは周波数ドメインのぼやけや曇りに対する感受性の高さによる可能性が大きい。
• 網膜画像品質データセットでは、FreqNetが98.30%の精度を達成したが、AlexNetの98.82%およびXceptionの98.08%と比較して、大幅にシンプルなアーキテクチャで競争力のある性能を示した。
• FreqNetの学習時間はCPUのみで約1.5日で、Xceptionの14日よりも著しく短く、ハードウェア最適化の可能性が顕著に示された。
• 結果から、周波数ドメイン学習は、モバイルおよびリアルタイムアプリケーションに適した非常に効率的なモデルを実現できることを示しており、画像劣化や周期的パターンを含むタスクにおいて特に有効である。
• 今後のDNNにおいて、空間的特徴と周波数ドメイン特徴を統合することで、特にスペクトル特性が強い信号の分類性能がさらに向上する可能性があると示唆された。