[論文レビュー] Multi-Scale Context Aggregation by Dilated Convolutions

Fisher Yu, Vladlen Koltun|arXiv (Cornell University)|Nov 23, 2015

Domain Adaptation and Few-Shot Learning参考文献 5被引用数 1,572

ひとこと要約

この論文では、ドーナツ型畳み込みを用いたマルチスケールのコンテキスト集約モジュールを提案し、空間的分解能を失わずにセマンティックセグメンテーションを向上させることを目的としている。ドーナツ型畳み込みにより受容 field を指数関数的に拡大することで、密度予測タスクにおける精度を向上させ、従来の最先端モデル（DeepLab++ や CRF-RNN）よりも優れた性能を示す。既存のアーキテクチャに統合された際の性能向上が確認された。

ABSTRACT

State-of-the-art models for semantic segmentation are based on adaptations of convolutional networks that had originally been designed for image classification. However, dense prediction and image classification are structurally different. In this work, we develop a new convolutional network module that is specifically designed for dense prediction. The presented module uses dilated convolutions to systematically aggregate multi-scale contextual information without losing resolution. The architecture is based on the fact that dilated convolutions support exponential expansion of the receptive field without loss of resolution or coverage. We show that the presented context module increases the accuracy of state-of-the-art semantic segmentation systems. In addition, we examine the adaptation of image classification networks to dense prediction and show that simplifying the adapted network can increase accuracy.

研究の動機と目的

• セマンティックセグメンテーションにおいて、マルチスケールのコンテキスト推論とフル解像度出力を併存させる課題に対処すること。
• 画像分類ネットワークの変更にとどまらず、密度予測に特化した畳み込みモジュールを設計すること。
• 再利用された分類ネットワークに残存する不要な部品を削除することで、密度予測タスクにおける性能向上を示すこと。
• 提案されたコンテキストモジュールが、最先端のセグメンテーションアーキテクチャにおける精度向上にどの程度寄与するかを評価すること。

提案手法

• ドーナツ型畳み込みを用いて、ダウンサンプリングや分解能の損失なしに受容 field を体系的に拡大する。
• コンテキストモジュールは、プーリングやサブサンプリングを含まない、ドーナツ型畳み込み層の長方形ピラミッド構造である。
• 拡張率を適用することで、受容 field を指数関数的に拡大しながらも、フル空間的分解能を維持する。
• モジュールは即挿し可能であり、既存のセグメンテーションアーキテクチャの任意の解像度に挿入可能である。
• コンテキスト集約にドーナツ型畳み込みに依存することで、マルチスケール入力処理や繰り返しのアップサンプリングを回避する。
• 制御実験をPascal VOC 2012データセット上で実施し、コンテキストモジュールの寄与を明確に分離した。

実験結果

リサーチクエスチョン

• RQ1 ドーナツ型畳み込みに基づく専用のコンテキスト集約モジュールは、分解能を損なわずにセマンティックセグメンテーションの精度を向上させることができるか？
• RQ2 画像分類ネットワークから残存する不要な部品は、密度予測タスクにおいてどの程度性能を阻害するか？
• RQ3 ピラミッド型アーキテクチャを単一のドーナツ型畳み込みベースのモジュールに置き換えることで、セマンティックセグメンテーションの性能が向上するか？
• RQ4 CRF-RNN や DeepLab++ といった最先端モデルと比較して、提案されたコンテキストモジュールは精度と頑健性の面でどの程度優れているか？

主な発見

• 構造的予測を伴わないコンテキストモジュール単体でも、Pascal VOC 2012 テストセットにおいて DeepLab++ アーキテクチャを上回る性能を示した。
• CRF-RNN 構造的予測モジュールと組み合わせた場合、平均IoUが 75.3% に達し、CRF-RNN 単体（74.7%）を上回った。
• VOC-2012 テストセットにおいて、コンテキストモジュールは平均IoU 73.5% を達成し、DeepLab++ の 72.7% を上回った。
• 不要な部品を除去した簡素化されたフロントエンドネットワークは、従来の分類ネットワークの再利用アプローチを上回る精度を達成した。
• 失敗事例では、微細な境界や曖昧な物体境界の処理に依然として課題を抱えていることが示され、今後の改善の余地がある。