[論文レビュー] DCFNet: Deep Neural Network with Decomposed Convolutional Filters

Qiang Qiu, Xiuyuan Cheng+2 more|arXiv (Cornell University)|Feb 12, 2018

Advanced Neural Network Applications参考文献 24被引用数 20

ひとこと要約

DCFNetは、畳み込みフィルタを事前に固定された基底（例：フーリエ・ベッセル（FB）基底）を用いた切り捨て展開に分解する深層ニューラルネットワークを提案する。学習対象は展開係数のみであり、モデルパラメータと計算量を顕著に削減しながら、画像分類およびノイズ除去において高い精度を維持し、入力変形に対して理論的安定性を保証する。

ABSTRACT

Filters in a Convolutional Neural Network (CNN) contain model parameters learned from enormous amounts of data. In this paper, we suggest to decompose convolutional filters in CNN as a truncated expansion with pre-fixed bases, namely the Decomposed Convolutional Filters network (DCFNet), where the expansion coefficients remain learned from data. Such a structure not only reduces the number of trainable parameters and computation, but also imposes filter regularity by bases truncation. Through extensive experiments, we consistently observe that DCFNet maintains accuracy for image classification tasks with a significant reduction of model parameters, particularly with Fourier-Bessel (FB) bases, and even with random bases. Theoretically, we analyze the representation stability of DCFNet with respect to input variations, and prove representation stability under generic assumptions on the expansion coefficients. The analysis is consistent with the empirical observations.

研究の動機と目的

• 畳み込みフィルタを事前に定義された関数的基底を用いて構造化することで、深層CNNのモデル複雑度を低減すること。
• 切り捨てられた基底展開を用いて正則化を施し、冗長性を低減するとともに安定性を向上させること。
• トレーニング可能なパラメータ数を顕著に削減しながらも、高い分類精度を維持すること。
• 入力変形に対する表現のロバスト性を理論的に分析し、実験的に検証すること。
• FB、フーリエ、ウェーブレット、ランダム、PCA基底を含む、さまざまな基底タイプとの互換性を調査すること。

提案手法

• 各畳み込みフィルタをK個の事前に固定された空間的基底（例：フーリエ・ベッセル）の線形結合として表現し、係数はデータから学習する。
• 学習された展開係数を実装するために1×1畳み込み層を用い、標準的なフィルタを低ランクパラメータ化に効果的に置き換える。
• 低周波成分を強調する基底（例：FB基底）を用いた切り捨て展開を適用し、高周波成分のノイズおよび不安定性を抑制する。
• 基底の切り捨てによる構造的制約を導入することで正則化を施し、パラメータ数と冗長性を低減する。
• 展開係数の有界性を仮定して、入力変形に対して表現が安定することを理論的に証明する。
• CIFAR-10、SVHN、LFWなどの標準ベンチマークを用いて、画像分類およびノイズ除去タスクにおける性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 事前に固定された基底（例：フーリエ・ベッセル）を用いた畳み込みフィルタの分解は、分類精度を損なわずにモデルパラメータを顕著に削減できるか？
• RQ2 基底の選択（例：フーリエ・ベッセル、ランダム、PCA）が、得られるDCFNetの性能および安定性に与える影響はいかほどか？
• RQ3 基底の切り捨てによるフィルタ正則化は、変形やノイズなどの入力変動に対するロバスト性をどの程度向上させるか？
• RQ4 展開係数に関する一般的な仮定のもとで、DCFNet表現の理論的安定性を証明できるか？
• RQ5 非常に深いアーキテクチャおよび大規模データセットを用いた顔認識などの複雑なタスクにおいて、DCFNetはどのように性能を発揮するか？

主な発見

• フーリエ・ベッセル（FB）基底を用いたDCFNetは、標準CNNと同等またはそれ以上の分類精度を達成しながら、パラメータを最大67％まで削減する（例：顔認識のVGG-16では、7.01M対21.26Mパラメータ）。
• LFWベンチマークにおいて、FB基底を用いたDCFNetは、元のCNNの1/3のパラメータ（97.65％の精度）で97.32％の顔認識精度を達成する。
• FBベースのDCFNetは、変形に対して不安定で、かつ認識タスクにおいてしばしば無関係な高周波成分への感受性を低減する。
• 理論的分析により、展開係数が有界である場合、DCF-FB表現は入力変形に対して安定であり、摂動が歪みの大きさで有界であることが証明された。
• ランダム基底でさえもDCFNetは高い精度を維持するため、利点は基底固有の性質ではなく、分解構造そのものに起因することが示された。
• 画像ノイズ除去タスクにおいて、DCF-FBは標準CNNおよび他の基底選択を上回り、高周波ノイズに対するロバスト性を確認した。