[論文レビュー] Densely connected multidilated convolutional networks for dense prediction tasks

Naoya Takahashi, Yuki Mitsufuji|arXiv (Cornell University)|Nov 21, 2020

Speech and Audio Processing参考文献 53被引用数 6

ひとこと要約

本論文では、密接に接続されたマルチスケール特徴抽出と、新しいマルチ拡張畳み込みを組み合わせることで、疎なアーリアスフリーの受容 field の拡張を可能にする、D3Netと呼ばれる新しいCNNアーキテクチャを提案する。DenseNetのスキップ接続にマルチ拡張畳み込みを統合することで、D3Netは画像のセマンティックセグメンテーション（Cityscapes）および音声ソース分離（MUSDB18）の分野で最先端の性能を達成し、パrameter数を減らしながらも、先行手法を上回った。

ABSTRACT

Tasks that involve high-resolution dense prediction require a modeling of both local and global patterns in a large input field. Although the local and global structures often depend on each other and their simultaneous modeling is important, many convolutional neural network (CNN)-based approaches interchange representations in different resolutions only a few times. In this paper, we claim the importance of a dense simultaneous modeling of multiresolution representation and propose a novel CNN architecture called densely connected multidilated DenseNet (D3Net). D3Net involves a novel multidilated convolution that has different dilation factors in a single layer to model different resolutions simultaneously. By combining the multidilated convolution with the DenseNet architecture, D3Net incorporates multiresolution learning with an exponentially growing receptive field in almost all layers, while avoiding the aliasing problem that occurs when we naively incorporate the dilated convolution in DenseNet. Experiments on the image semantic segmentation task using Cityscapes and the audio source separation task using MUSDB18 show that the proposed method has superior performance over state-of-the-art methods.

研究の動機と目的

• 既存のCNNにおける、高密度予測タスク向けのスパarsなマルチスケール特徴交換の限界を解消すること。
• 1つのネットワークアーキテクチャ内で、局所的およびグローバルなコンテキストを同時に、高密度にモデル化すること。
• DenseNetに単純に拡張畳み込みを適用することで生じるアーリアス問題を解消するため、新しいマルチ拡張畳み込み層を導入すること。
• 強化された特徴再利用と拡張された受容フィールドを通じて、セマンティックセグメンテーションや音声ソース分離などの高解像度高密度予測タスクの性能を向上させること。

提案手法

• 1つの畳み込み層内で複数の拡張率を適用する新しいマルチ拡張畳み込み層を提案し、その拡張率はスキップ接続の出力元に依存する。
• DenseNet風のアーキテクチャにマルチ拡張畳み込みを統合することで、すべての層を貫いて特徴の密な流れを実現するとともに、マルチスケール表現を維持する。
• 各スケールに十分な深さを確保するため、拡張率を繰り返すことで、マルチ拡張ドライブルック（D2ブロック）のネスト構造を設計する。
• 空間解像度とコンテキストを保持するために、逆畳み込みとスキップ接続を用いて特徴のアップサンプリングと連結処理を行う。
• 各畳み込み層の後にバッチ正規化とReLU活性化関数を適用し、学習の安定化と勾配の流れの改善を図る。
• 最終層での次元削減および分類・回帰処理のため、平均プーリングとグローバル平均プーリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 密接でマルチスケール特徴抽出が、セマンティックセグメンテーションや音声ソース分離といった高密度予測タスクの性能向上に寄与するか？
• RQ2 アーリアスアーチファクトを引き起こさずに、DenseNetアーキテクチャに拡張畳み込みを効果的に統合する方法は何か？
• RQ3 異なるスケール表現間での頻繁かつ密な情報交換が、モデル性能に与える影響は何か？
• RQ4 提案されたマルチ拡張畳み込み層は、標準の拡張畳み込みや標準畳み込み層に比べ、特徴品質とタスク精度の面で優れているか？

主な発見

• D3NetはMUSDB18音声ソース分離ベンチマークで6.01 dBの中央SIR（SDR）を達成し、すべての先行最先端手法を上回った。
• Cityscapesセマンティックセグメンテーションデータセットにおいても、競合するバックボーンと比較して顕著に少ないパラメータ数で最先端の性能を達成した。
• マルチ拡張畳み込みを標準の拡張畳み込みに置き換えた場合、非拡張モデルに比べて性能向上が見られたが、依然として本手法が優れていたことから、アーリアスに配慮した設計の有効性が裏付けられた。
• アブレーションスタディの結果、マルチ拡張畳み込みは標準の拡張畳み込みを著しく上回り、DenseNetベースアーキテクチャにおいてアーリアスの問題を適切に解消することが重要であることが示された。
• D2ブロックのネスト構造により、全スケールで効率的なパラメータ使用と十分な表現能力が実現された。
• 本手法はドメインをまたいで優れた汎化性能を示し、アーキテクチャの変更なしに、視覚的タスクと音声タスクの両方でトップレベルの性能を達成した。