[論文レビュー] Detailed Dense Inference with Convolutional Neural Networks via Discrete Wavelet Transform

Lingni Ma, Jörg Stückler+2 more|arXiv (Cornell University)|Aug 6, 2018

Advanced Neural Network Applications参考文献 22被引用数 8

ひとこと要約

本稿では、エンコーダーからキャッシュされた高周波数ウェーブレット係数を用いて従来のアンプーリングを逆離散ウェーブレット変換（iDWT）に置き換えることで、密度的なピクセル単位の予測を目的とした新しいCNNアーキテクチャWCNNを提案する。DWT/iDWTをエンコーダ-デコーダー枠組みに統合し、2つのウェーブレットピラミッド変種（LFPおよびFFC）を導入することで、Cityscapesデータセットにおいて、精度と計算効率の両方を向上させ、ベースラインより最大1.2 mIoU、FRRNより1.9 mIoUの向上を達成した。19クラスのセマンティックセグメンテーションにおいて最先端の性能を達成した。

ABSTRACT

Dense pixelwise prediction such as semantic segmentation is an up-to-date challenge for deep convolutional neural networks (CNNs). Many state-of-the-art approaches either tackle the loss of high-resolution information due to pooling in the encoder stage, or use dilated convolutions or high-resolution lanes to maintain detailed feature maps and predictions. Motivated by the structural analogy between multi-resolution wavelet analysis and the pooling/unpooling layers of CNNs, we introduce discrete wavelet transform (DWT) into the CNN encoder-decoder architecture and propose WCNN. The high-frequency wavelet coefficients are computed at encoder, which are later used at the decoder to unpooled jointly with coarse-resolution feature maps through the inverse DWT. The DWT/iDWT is further used to develop two wavelet pyramids to capture the global context, where the multi-resolution DWT is applied to successively reduce the spatial resolution and increase the receptive field. Experiment with the Cityscape dataset, the proposed WCNNs are computationally efficient and yield improvements the accuracy for high-resolution dense pixelwise prediction.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）ベースの密度的予測モデルにおける、エンコーダーのプーリング操作に起因する高分解能空間的詳細の損失を解消すること。
• ウェーブレットに基づく特徴再構成により、微細な構造的情報を保持することで、セマンティックセグメンテーションなどの密度的ピクセル単位の予測精度を向上させること。
• ウェーブレット分解とCNNのプーリング/アンプーリングの構造的類似性を活用し、パラメータフリーのアンプーリング機構を開発すること。
• グローバルコンテキストをマルチスケールDWT/iDWTで捉えるために、ウェーブレットピラミッド変種（LFPおよびFFC）を導入し、特徴表現を強化すること。
• ウェーブレットベースのアンプーリングとピラミッドが、ベンチマークデータセットにおける標準CNNや最先端手法に比べて一貫した性能向上をもたらすことを実証すること。

提案手法

• エンコーダーからの高周波数ウェーブレット係数を離散ウェーブレット変換（DWT）によりキャッシュし、それらをデコーダーで粗い特徴マップと組み合わせることでウェーブレットアンプーリングを導入する。
• iDWTを用いて、学習可能なパrameterを一切用いずに高分解像特徴マップを共同で再構成し、元の入力からの空間的詳細を保持する。
• 低周波数伝播（LFP）および全周波数合成（FFC）の2つのウェーブレットピラミッドアーキテクチャを提案し、両者ともマルチスケールDWTを用いてグローバルコンテキストを抽出する。
• 複数の段階でマルチスケールDWT/iDWTを適用し、空間的分解能を段階的に低下させるとともに受容野を拡大することで、階層的特徴学習を模倣する。
• DWTがプーリングに、iDWTがアンプーリングに置き換わる対称的なエンコーダ-デコーダー構造を採用し、ウェーブレットマルチスケール解析と構造的一致性を維持する。
• 標準的なバックプロパゲーションを用いてエンドツーエンドで学習し、重みパラメータの追加ではなく、ウェーブレット係数の保存に伴う計算オーバーヘッドのみを伴う。

実験結果

リサーチクエスチョン

• RQ1 離散ウェーブレット変換（DWT）は、密度的予測タスクにおける従来のアンプーリング層の置き換えとして効果的に利用可能か？
• RQ2 iDWTを用いたウェーブレットベースのアンプーリングは、標準的なトランスポジット畳み込みやメモリーダムアンプーリングと比較して、高分解像特徴マップおよびピクセル単位の予測品質を向上させるか？
• RQ3 ウェーブレットピラミッド変種（LFPおよびFFC）は、グローバルコンテキストを捉える能力とセグメンテーション精度の向上において、どのように比較されるか？
• RQ4 ウェーブレットベースのアンプーリングとピラミッドは、計算コストを低く抑えながら、Cityscapesなどの密度的予測ベンチマークで最先端の性能を達成できるか？
• RQ5 マルチスケール推論およびテスト時データオーギュメンテーションが、ウェーブレット強化CNNの性能に与える影響は何か？

主な発見

• WCNN-FFC-MSは、Cityscapesの19クラステストセットで75.2のmIoUを達成し、ベースラインのFFC-MSを1.2 mIoU、FRRNを1.9 mIoU上回った。
• ウェーブレットアンプーリングとFFCピラミッドの組み合わせが最大の性能向上をもたらし、マルチスケールテスト時オーギュメンテーションを用いることで、ベースラインからmIoUが6.0ポイント向上した。
• WCNNのバリエーションは、フェンス、電柱、交通標識などの微細構造において一貫してセグメンテーション精度が向上しており、定性的な比較でも明確に示された。
• 提案されたウェーブレットアンプーリング機構はパラメータフリーであり、ウェーブレット係数のキャッシュに伴うメモリオーバーヘッドのみを伴うため、計算的にも効率的である。
• FFCピラミッドは、すべての指標においてLFPピラミッドを上回り、全周波数合成が密度的予測に適した特徴をよりよく保持していることが示された。
• 19クラスセットではより高いmIoUを達成したが、カテゴリレベルのmIoUではFRRNより0.6 mIoU低い結果となったため、カテゴリ固有の一般化性能にトレードオフがある可能性がある。