[論文レビュー] Weakly-supervised Salient Instance Detection

Xin Tian, Ke Xu+3 more|arXiv (Cornell University)|Sep 29, 2020

Visual Attention and Saliency Detection参考文献 50被引用数 12

ひとこと要約

本稿では、画素レベルのアノテーションではなく、画像レベルのクラスラベルとサブイタイジング（数え上げ）ラベルのみを用いる、最初の弱教師付き顕著インスタンス検出（SID）手法、WSID-Netを提案する。この手法は、顕著性検出、境界明確化、重心検出の3本のブランチを持つネットワークを採用し、境界強化モジュールと新しい重心ベースのサブイタイジング損失を組み合わせることで、ベンチマークデータセットで61.9%のmAPおよび47.2%のF-measureを達成し、最先端の性能を発揮した。

ABSTRACT

Existing salient instance detection (SID) methods typically learn from pixel-level annotated datasets. In this paper, we present the first weakly-supervised approach to the SID problem. Although weak supervision has been considered in general saliency detection, it is mainly based on using class labels for object localization. However, it is non-trivial to use only class labels to learn instance-aware saliency information, as salient instances with high semantic affinities may not be easily separated by the labels. We note that subitizing information provides an instant judgement on the number of salient items, which naturally relates to detecting salient instances and may help separate instances of the same class while grouping different parts of the same instance. Inspired by this insight, we propose to use class and subitizing labels as weak supervision for the SID problem. We propose a novel weakly-supervised network with three branches: a Saliency Detection Branch leveraging class consistency information to locate candidate objects; a Boundary Detection Branch exploiting class discrepancy information to delineate object boundaries; and a Centroid Detection Branch using subitizing information to detect salient instance centroids. This complementary information is further fused to produce salient instance maps. We conduct extensive experiments to demonstrate that the proposed method plays favorably against carefully designed baseline methods adapted from related tasks.

研究の動機と目的

• 顕著インスタンス検出（SID）における弱教師付き手法の不足に取り組むこと。従来、画素レベルのアノテーションが高価であるため必要不可避であった。
• サブイタイジング（数え上げ）情報が、同じクラスのインスタンスを区別し、1つのインスタンスの部分をグループ化するための有効な弱教師信号として機能するかを検討すること。
• 画像レベルのラベルのみを用いて、顕著性、境界、インスタンス重心を統合的に学習する深層学習フレームワークを設計すること。
• クラスの一貫性、クラスの差異、インスタンスの数え上げという補完的信号を活用することで、インスタンスレベルの顕著性検出を向上させること。

提案手法

• WSID-Netを提案。3本のブランチを持つネットワークで構成される：クラスの一貫性を用いて候補オブジェクトを局所化する顕著性検出ブランチ、クラスの差異を用いてオブジェクト境界を精緻化する境界検出ブランチ、サブイタイジング信号を用いてインスタンス中心を検出する重心検出ブランチ。
• 重心位置の回帰によって正しい顕著インスタンス数を予測することを促進する、新しい重心ベースのサブイタイジング損失（$\mathcal{L}_{\mathcal{SU}}$）を導入。
• 複数スケールの特徴を統合することで境界局所化の正確性を向上させる、境界強化（BE）モジュールを採用。
• 長距離依存性と空間的文脈をモデル化することで特徴表現を強化する、ダブルアテンション（DA）モジュールを用いる。
• 3本のブランチからの予測を学習可能な融合モジュールで統合し、最終的な顕著インスタンスマップを生成。
• 画素レベルのマスクを必要とせず、画像レベルのクラスラベルとサブイタイジングラベルのみを用いて、エンドツーエンドでモデルを学習。

実験結果

リサーチクエスチョン

• RQ1 クラスラベルのみが利用可能な状況で、サブイタイジング情報がインスタンスに特化した顕著性検出を効果的にガイドできるか？
• RQ2 クラスラベルとサブイタイジングラベルからの弱教師信号をどのように統合し、個々の顕著インスタンスを検出し分離できるか？
• RQ3 顕著性、境界、重心にそれぞれ専用のブランチを設けたマルチブランチアーキテクチャが、インスタンス検出性能を向上させるか？
• RQ4 提案されたモジュール（境界強化モジュールとダブルアテンションモジュール）が、境界の正確性とインスタンス分離にどの程度寄与しているか？

主な発見

• 提案手法のWSID-Netは、標準的なSIDベンチマークで61.9%のmAPおよび47.2%のF-measureを達成し、すべての弱教師付きベースラインおよび最先端の完全教師あり手法を上回った。
• アブレーションスタディの結果、BEモジュール、DAモジュール、および$\mathcal{L}_{\mathcal{SU}}$の各コンポonentが性能向上に段階的に寄与しており、フルモデルが最大の向上を示した。
• 定性的な結果から、WSID-Netは同じクラスのインスタンスを正しく分離し、複雑なシーンにおいても境界を正確に明確化できていることが確認された。
• サブイタイジングの弱教師信号により、物体同士の意味的類似度が非常に高い困難なケースにも良好に一般化可能である。
• 複雑な背景の影響で顕著性検出ブランチが顕著領域を正しく局所化できない場合に失敗が生じるが、これは初期の顕著性予測の品質に依存していることを示している。