[論文レビュー] FrequentNet: A Novel Interpretable Deep Learning Model for Image Classification

Yifei Li, Kuangyan Song+2 more|arXiv (Cornell University)|Jan 4, 2020

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 5

ひとこと要約

本論文では、バックプロパゲーションによる重み学習を避けるために、離散フーリエ変換（DFT）およびウェーブレット基底から得られるデータに依存しない固定フィルタを用いる、画像分類のための解釈性の高い深層学習モデルであるFrequentNetを提案する。直交周波数ドメイン基底を活用することで、FrequentNetはMNISTおよびCIFAR10で競争力ある精度を達成するとともに、標準的なCNNやPCANetと比較して、解釈性と計算効率に優れている。

ABSTRACT

This paper has proposed a new baseline deep learning model of more benefits for image classification. Different from the convolutional neural network(CNN) practice where filters are trained by back propagation to represent different patterns of an image, we are inspired by a method called "PCANet" in "PCANet: A Simple Deep Learning Baseline for Image Classification?" to choose filter vectors from basis vectors in frequency domain like Fourier coefficients or wavelets without back propagation. Researchers have demonstrated that those basis in frequency domain can usually provide physical insights, which adds to the interpretability of the model by analyzing the frequencies selected. Besides, the training process will also be more time efficient, mathematically clear and interpretable compared with the "black-box" training process of CNN.

研究の動機と目的

• バックプロパゲーションによるフィルタ学習のブラックボックス性を回避する画像分類のための深層学習モデルの開発。
• DFTやウェーブレットなどの周波数ドメイン基底から得られる物理的に意味のある固定フィルタを用いることで、モデルの解釈性を向上させること。
• 最適化に基づくフィルタ学習を排除することで、トレーニング時間の短縮と数学的透明性の向上。
• 標準ベンチマークで、学習済みフィルタと同等またはそれを上回る性能を示せるかどうかの評価。
• 周波数ドメインでのフィルタ応答の分析が、解釈性にどのような利点をもたらすかの探求。

提案手法

• 特定周波数におけるコサインおよびサイン成分から得られる離散フーリエ変換（DFT）基底ベクトルを固定フィルタとして使用。
• 局所的でエッジに敏感な特徴を捉えるために、ダービーチェスD4ウェーブレット基底ベクトルを代替の固定フィルタとして採用。
• 2段階のネットワークアーキテクチャを構築し、各段階で固定周波数ドメインフィルタによる畳み込み、二値化、プーリングを実行。
• 最適化やバックプロパゲーションを一切用いない、データに依存しないフィルタ選択プロセスを採用。
• マックスプーリングおよび全結合層を備えたCNNに類似したアーキテクチャに周波数ドメインフィルタを統合し、分類を実行。
• 比較のため2次元DFTへの拡張を試みたが、MNISTの変種では性能向上が確認されなかった。

実験結果

リサーチクエスチョン

• RQ1 DFTおよびウェーブレット基底から得られる固定でデータに依存しないフィルタは、バックプロパゲーションなしで競争力ある画像分類精度を達成できるか？
• RQ2 周波数ドメインでのフィルタ応答の解釈性は、バックプロパゲーションで学習されたものと比べてどのように異なるか？
• RQ3 主成分に基づくフィルタと比較して、周波数ドメインフィルタは画像特徴（例：エッジ、テクスチャ）をより良い洞察で捉えられるか？
• RQ4 MNISTやCIFAR10などの標準ベンチマークにおいて、DFTフィルタとウェーブレットフィルタの性能および特徴表現はどのように比較できるか？
• RQ5 周波数ドメインフィルタとPCAベースのフィルタを組み合わせることで、性能向上が達成されるとともに、解釈性を維持できるか？

主な発見

• FrequentNetはMNIST基本データで97.80%、bg-randで89.60%、rotで87.60%のテスト精度を達成し、バックプロパゲーションなしで優れた性能を示した。
• CIFAR10では、2段階のFourierNet-2が67.70%の精度を達成したのに対し、PCANet-2は70.95%であった。FrequentNetは競争力はあるが、PCANetにわずかに劣っていた。
• PCA-Fourier（69.75%）やFourier-PCA（68.30%）といった統合モデルは、単体のFourierNet-2よりも性能が向上しており、相乗効果の可能性を示した。
• 可視化結果から、FourierNet-2のフィルタは低周波成分と高周波成分の両方を捉えているのに対し、ウェーブレットフィルタはエッジに類似した特徴を抽出しており、物理的解釈性を裏付けた。
• 単一フィルタを用いた低ランク近似の結果、フーリエおよびPCAフィルタは類似したパターンを抽出するが、ウェーブレットフィルタはエッジを強調することが分かった。
• バックプロパゲーションや最適化が存在しないため、FrequentNetのトレーニングは標準的なCNNと比べてはるかに効率的かつ透明性に優れている。