[論文レビュー] Harmonic Convolutional Networks based on Discrete Cosine Transform

Matej Uličný, Vladimir A. Krylov+1 more|arXiv (Cornell University)|Jan 18, 2020

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、標準的な畳み込み層を置き換えることで、離散コサイン変換（DCT）フィルタの重み付き組み合わせを学習するブロックを導入する調和畳み込みニューラルネットワーク（harmonic convolutional networks）を提案する。DCTのエネルギー集中特性を活用することで、効率的なモデル圧縮と性能向上を実現する。ImageNetではトップ1精度が0.7–1.2%向上し、物体検出では0.7–1.1 AP、セマンティックセグメンテーションでは1.1% IoU向上を達成。計算コストの増加は最小限であり、照明条件の変化に対しても優れた汎化性能を示す。

ABSTRACT

Convolutional neural networks (CNNs) learn filters in order to capture local correlation patterns in feature space. We propose to learn these filters as combinations of preset spectral filters defined by the Discrete Cosine Transform (DCT). Our proposed DCT-based harmonic blocks replace conventional convolutional layers to produce partially or fully harmonic versions of new or existing CNN architectures. Using DCT energy compaction properties, we demonstrate how the harmonic networks can be efficiently compressed by truncating high-frequency information in harmonic blocks thanks to the redundancies in the spectral domain. We report extensive experimental validation demonstrating benefits of the introduction of harmonic blocks into state-of-the-art CNN models in image classification, object detection and semantic segmentation applications.

研究の動機と目的

• DCTに基づくフィルタ学習を用いてスペクトル的な事前知識を組み込むことで、CNNの性能を向上させること。
• 高周波成分の切り捨てを活用することで、DCTのエネルギー集中特性を活かした効率的なモデル圧縮を実現すること。
• データ不足や照明条件の変化に強い、訓練収束の高速化と汎化性能の向上を図ること。
• 分類、検出、セグメンテーションを含む多様なビジョンタスクにおいて一貫した性能向上を示すこと。
• 計算コストの増加を最小限に抑えつつ、標準的な畳み込み層の即時置換が可能な代替手法を提供すること。

提案手法

• 標準的な畳み込み層を、DCTフィルタド・特徴マップへの応答の重み付き和を計算する調和ブロックに置き換える。
• 局所的受容野に対してウィンドウ付きDCTを適用し、スペクトル係数を抽出。その後、それらを最適な重みで組み合わせる。
• DCTのエネルギー集中特性を活用し、高周波スペクトル成分の切り捨てにより、精度損失を最小限に抑えながらモデルを圧縮する。
• DCTおよび重み付き和の演算をバックプロパゲーション可能にすることで、調和ネットワークをエンドツーエンドで学習可能にする。
• 標準CNNの事前学習済み重みをDCTドメインで再パラメータ化することで、標準CNNを調和バージョンに変換可能にする。
• ResNet、DenseNet、DeepLabV3などの最先端アーキテクチャに調和ブロックを適用し、バックボーン変換および事前学習のアブレーションを実施。

実験結果

リサーチクエスチョン

• RQ1 DCTベースの調和ブロックは、画像分類、物体検出、セマンティックセグメンテーションといった多様なビジョンタスクにおいて性能向上をもたらすか？
• RQ2 DCT基底関数の重み付き組み合わせとしてのフィルタ学習は、データ不足や照明変動に強い、高速な訓練収束と優れた汎化性能をもたらすか？
• RQ3 高周波成分の切り捨てによって、調和ネットワークをどの程度圧縮できるか。性能劣化は顕著に現れないか？
• RQ4 精度、推論速度、メモリ容量の観点から、調和ネットワークは標準CNNと比較してどの程度優れているか？
• RQ5 ResNet や DeepLabV3 などの既存CNNアーキテクチャに、アーキテクチャの大規模な見直しを伴わずに効果的に調和ブロックを統合できるか？

主な発見

• ImageNetデータセットでは、調和ResNet-50およびResNet-101が、それぞれ標準バージョンと比較してトップ1精度が0.7–1.2%向上した。
• NORBの小規模データセットでは、調和ネットワークが最先端の性能を達成し、未観測の照明条件に対しても良好な汎化性能を示した。
• Pascal VOCおよびMS COCOにおける物体検出タスクでは、Faster R-CNNおよびMask R-CNNの調和版がAPを0.7–1.1ポイント向上させた。
• Pascal VOC 2012におけるセマンティックセグメンテーションでは、ResNet-101をバックボーンとする調和DeepLabV3が、ベースラインと比較して平均IoUが1.1%絶対的に向上した。
• 調和ブロックは、標準畳み込みと比較して計算コストが3–7%増加するのみで、メモリ使用量はほぼ同等であった。
• セマンティックセグメンテーションにおいて、特定のクラスでは顕著な向上が見られた。例えば「chair」（+9.5% IoU）、「sheep」（+3.9%）、「boat」（+3.2%）など。