[論文レビュー] Deep Reasoning with Multi-Scale Context for Salient Object Detection

Zun Li, Congyan Lang+3 more|arXiv (Cornell University)|Jan 24, 2019

Visual Attention and Saliency Detection参考文献 50被引用数 12

ひとこと要約

本稿では、マルチドレインドディープワイズ畳み込みを用いた、深くても軽量なサリエンシー推論モジュールを提案する。従来の複雑なバックボーンに注力するのではなく、これまで軽視されてきた推論ヘッドの推論能力の向上に注力することで、計算コストを低く抑えながら最先端の性能を達成し、複数のベンチマークで既存モデルを上回った。

ABSTRACT

To detect salient objects accurately, existing methods usually design complex backbone network architectures to learn and fuse powerful features. However, the saliency inference module that performs saliency prediction from the fused features receives much less attention on its architecture design and typically adopts only a few fully convolutional layers. In this paper, we find the limited capacity of the saliency inference module indeed makes a fundamental performance bottleneck, and enhancing its capacity is critical for obtaining better saliency prediction. Correspondingly, we propose a deep yet light-weight saliency inference module that adopts a multi-dilated depth-wise convolution architecture. Such a deep inference module, though with simple architecture, can directly perform reasoning about salient objects from the multi-scale convolutional features fast, and give superior salient object detection performance with less computational cost. To our best knowledge, we are the first to reveal the importance of the inference module for salient object detection, and present a novel architecture design with attractive efficiency and accuracy. Extensive experimental evaluations demonstrate that our simple framework performs favorably compared with the state-of-the-art methods with complex backbone design.

研究の動機と目的

• サリエンスオブジェクト検出における軽視されがちなボトルネック、すなわちサリエンシー推論モジュールの限られた能力を特定・解決すること。
• モデルの複雑さを増さずに推論ヘッドの推論能力を向上させることで、サリエンシー検出性能を向上させること。
• マルチスケール特徴量を効果的に活用し、優れた推論と予測を実現する計算効率の良いアーキテクチャを設計すること。
• 洗練された推論モジュールが、複雑なバックボーンや特徴量統合を備えたモデルを上回ることを示すこと。

提案手法

• 長距離の文脈的依存関係を捉えるために、スタックされたマルチドレインドディープワイズ畳み込み層に基づく深層サリエンシー推論モジュールを導入する。
• パラメータ数と計算コストを抑えながら深層的な推論を可能にするために、ディープワイズ畳み込みとポイントワイズグループ畳み込みを採用する。
• バックボーンネットワーク（例：VGG、ResNet）から得られるマルチスケール特徴量を統合するため、トップダウン型の特徴量統合パスとラテラル接続を用いる。
• 精錬された特徴量から最終的なサリエンシー地図を生成するために、1×1畳み込みを適用する。
• 従来の研究で一般的な浅い推論ヘッドを避けるために、統合されたマルチスケール特徴量を直接推論するモジュールを設計する。
• 特徴抽出から推論モジュールを分離することで、あらゆる標準的なバックボーンネットワークと互換性を持つように設計する。

実験結果

リサーチクエスチョン

• RQ1 既存のサリエンス検出フレームワークにおいて、サリエンシー推論モジュールが根本的な性能ボトルネックを占めているか？
• RQ2 より深く、より能力の高い推論モジュールは、計算コストを増さずに検出精度を向上させることができるか？
• RQ3 ディープワイズ畳み込みにおけるマルチドレインジングがマルチスケール特徴量の推論をどのように向上させるか？
• RQ4 推論モジュールの深さを増すことで、検出性能と効率にどのような影響があるか？
• RQ5 単純で軽量なアーキテクチャが、より深いバックボーンや広範な監視を備えた複雑なモデルを上回ることができるか？

主な発見

• VGGバックボーンを用いたDUT-OMRONデータセットにおいて、提案されたSRNet-RモデルはHFSよりも2.6%高いFβ-maxスコアを達成し、BPSよりも5.6%高いスコアを記録した。
• 挑戦的なSODおよびDUT-OMRONデータセットにおいて、SRNet-RはSRNet-Vを著しく上回り、マルチドレインジングの有効性を示した。
• 推論モジュールの深さを1層から24層（SRNet-R）に増加させることで、DUTS-TestにおいてF-measureが最大1.5%向上し、より深い推論による性能向上を実証した。
• ディープワイズ畳み込みとグループ畳み込みのおかげで、深層アーキテクチャであるにもかかわらず、推論速度がベースラインモデルと同等の約0.27秒/480×320画像を維持した。
• 視覚的結果から、完全なSRNetモデルは、画像境界付近や背景と低コントラストなオブジェクトに対しても、より包括的かつ正確なサリエンシー地図を生成することがわかった。
• アブレーションスタディの結果、推論モジュールそのものが性能向上に大きく寄与していることが確認された。BFR（ドレインジングなし）はHFSおよびBPSを上回り、SRNet（ドレインジングあり）はさらに性能を向上させた。