[論文レビュー] Fast Fourier Transformation for Optimizing Convolutional Neural Networks in Object Recognition

Varsha Nair, Moitrayee Chatterjee+3 more|arXiv (Cornell University)|Oct 8, 2020

Advanced Neural Network Applications参考文献 20被引用数 12

ひとこと要約

本稿では、画像およびカーネルデータを周波数領域に変換することで、畳み込みニューラルネットワーク（CNN）の畳み込み演算を高速化するFFTベースのU-Netアーキテクチャを提案する。これにより、要素ごとの乗算による効率的な畳み込みが可能となり、訓練時間は1ステップあたり600–700 msから400–500 msに短縮され、BBBCデータセットにおける平均交差率（IoU）は0.52から0.83に向上した。これにより、収束が速く、セグメンテーション精度が向上することが示された。

ABSTRACT

This paper proposes to use Fast Fourier Transformation-based U-Net (a refined fully convolutional networks) and perform image convolution in neural networks. Leveraging the Fast Fourier Transformation, it reduces the image convolution costs involved in the Convolutional Neural Networks (CNNs) and thus reduces the overall computational costs. The proposed model identifies the object information from the images. We apply the Fast Fourier transform algorithm on an image data set to obtain more accessible information about the image data, before segmenting them through the U-Net architecture. More specifically, we implement the FFT-based convolutional neural network to improve the training time of the network. The proposed approach was applied to publicly available Broad Bioimage Benchmark Collection (BBBC) dataset. Our model demonstrated improvement in training time during convolution from $600-700$ ms/step to $400-500$ ms/step. We evaluated the accuracy of our model using Intersection over Union (IoU) metric showing significant improvements.

研究の動機と目的

• オブジェクト認識に用いられるCNNにおける畳み込み演算の高コストな計算を低減すること。
• 医療画像セグメンテーション向けディープラーニングモデルにおける訓練効率および収束速度の向上。
• U-Netアーキテクチャの入力層に高速フーリエ変換（FFT）を統合する有効性を評価すること。
• 周波数ドメインへの変換がセグメンテーション精度および訓練の安定性を向上させられることを示すこと。
• モバイルや組み込みシステムなどのリソース制限のある環境における計算効率の高い代替手法を提供すること。

提案手法

• 入力画像データに高速フーリエ変換（FFT）を適用し、空間的畳み込みを周波数ドメインにおける要素ごとの乗算に変換する。
• 従来の畳み込み演算を置き換えるFFTベースの畳み込み層を実装し、大規模なカーネルに対して計算複雑度を低減する。
• U-Netアーキテクチャを完全畳み込みネットワークとして用い、生体画像のセマンティックセグメンテーションを実行し、特徴抽出の高速化を図るためにFFT前処理を導入する。
• 交差エントロピー損失を用いてモデルを訓練し、Adam最適化法で最適化し、FFT前処理あり・なしの両状況で性能を比較する。
• 予測マスクからセグメンテッドオブジェクトを特定するために、局所的最大値検出とDBScanクラスタリングを後処理として適用する。
• 訓練および検証データセットにおける交差率（IoU）、ログ損失、平均IoUを用いてモデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 FFTベースの畳み込みは、オブジェクト認識タスクにおけるU-Netの訓練時間を顕著に短縮できるか？
• RQ2 入力データを周波数ドメインに変換することで、CNNにおけるセグメンテーション精度が向上するか？
• RQ3 FFT前処理は、訓練損失およびIoU指標の安定性と収束性にどのように影響を与えるか？
• RQ4 特徴表現を損なわせることなく、FFT加速を生体画像セグメンテーションに効果的に適用できるか？
• RQ5 FFT処理による性能向上は、異なるエポックおよびデータ分割において一貫しているか？

主な発見

• FFTベースのモデルでは、畳み込みの訓練時間を1ステップあたり600–700 msから400–500 msに短縮し、訓練速度が28.6%～33.3%向上した。
• FFTベースのモデルは100エポック後に平均IoUスコアを0.83に達成したのに対し、非FFTモデルでは0.52であった。これは顕著な精度向上を示している。
• FFTベースのモデルのログ損失は-0.875付近で安定化したが、非FFTモデルでは-0.6025にとどまり、最適化および一般化性能が優れていることが示された。
• IoU指標のプロットでは、FFTを用いたモデルは100エポックにわたり一貫した安定した性能を示したが、非FFTモデルでは損失およびIoU値に変動が見られた。
• FFT処理後の出力にDBScanクラスタリングを適用したところ、20の明確なクラスタが同定され、洗練されたセグメンテーションマスクからの効果的なオブジェクト局在化が確認された。
• FFTベースのモデルはIoU 0.8747、交差検証損失-0.8753を達成し、非FFTモデルのIoU 0.6815および損失-0.6025を上回った。