[论文解读] Adaptive Graph Convolutional Network with Attention Graph Clustering for Co-saliency Detection

Kaihua Zhang, Tengpeng Li+4 more|arXiv (Cornell University)|Mar 13, 2020

Visual Attention and Saliency Detection参考文献 71被引用 8

一句话总结

该论文提出GCAGC，一种用于共同显著性检测的端到端自适应图卷积网络，结合注意力图聚类。通过自适应图学习建模图像组内的长距离依赖与跨图像依赖，并利用无监督注意力聚类方法优化预测，实现在iCoseg、Cosal2015和COCO-SEG数据集上的最先进性能，F-scores分别为0.8428和0.7092。

ABSTRACT

Co-saliency detection aims to discover the common and salient foregrounds from a group of relevant images. For this task, we present a novel adaptive graph convolutional network with attention graph clustering (GCAGC). Three major contributions have been made, and are experimentally shown to have substantial practical merits. First, we propose a graph convolutional network design to extract information cues to characterize the intra- and interimage correspondence. Second, we develop an attention graph clustering algorithm to discriminate the common objects from all the salient foreground objects in an unsupervised fashion. Third, we present a unified framework with encoder-decoder structure to jointly train and optimize the graph convolutional network, attention graph cluster, and co-saliency detection decoder in an end-to-end manner. We evaluate our proposed GCAGC method on three cosaliency detection benchmark datasets (iCoseg, Cosal2015 and COCO-SEG). Our GCAGC method obtains significant improvements over the state-of-the-arts on most of them.

研究动机与目标

• 解决在缺乏语义类别先验知识的情况下，从图像组中检测共同显著对象的挑战。
• 克服CNN在建模共同显著性检测中长距离依赖与跨图像依赖方面的局限性。
• 在联合优化框架中，设计一种无监督方法，以区分共同显著对象与其他显著前景区域。
• 构建一个端到端可训练的框架，集成图学习、聚类与检测模块，以提升性能。

提出的方法

• 采用CNN编码器提取多尺度特征，并从图像组构建密集的特征节点图。
• 设计一种自适应图卷积网络（AGCN），计算任意两个图像位置之间的直接长距离交互，捕捉图像内与跨图像的对应关系。
• 引入注意力图聚类模块（AGCM），通过生成共同注意力图，在无监督条件下区分共同显著对象与其他显著区域，以优化预测结果。
• 使用CNN解码器生成最终的共同显著性图，所有模块在端到端编码器-解码器框架中联合优化。
• 在AGCN中实现自适应图学习，使图结构适配共同显著性检测任务，避免固定图结构设计。
• 利用AGCM生成的共同注意力图指导特征优化，提升空间一致性并抑制噪声。

实验结果

研究问题

• RQ1 自适应图卷积网络能否有效建模共同显著性检测中的长距离依赖与跨图像依赖？
• RQ2 无监督注意力图聚类能否有效提升共同显著对象与其它显著前景区域之间的区分能力？
• RQ3 与分阶段或独立训练相比，图学习、聚类与检测的端到端联合优化是否能带来更优性能？
• RQ4 在背景杂乱且存在多个干扰对象的复杂场景下，所提方法表现如何？

主要发现

• 在Cosal2015基准上，GCAGC取得最高F-score 0.8428，优于第二名方法（CSMG）3.31%和RCGS 2.78%。
• 在COCO-SEG上，GCAGC取得F-score 0.7092，较RCGS（0.6814）高出2.78%，较CSMG高出3.31%。
• 消融实验表明，若移除AGCN，Cosal2015上的Fβ将下降2.72%，证明其在捕捉长距离依赖中的关键作用。
• AGCM贡献显著，当其被移除时，iCoseg上的Fβ下降4.09%，证实其在优化共同显著区域方面的有效性。
• AGCN中的自适应图学习策略优于固定图设计，禁用该策略后mAP下降2.22%，表现显著下降。
• 定性结果表明，GCAGC生成的共同显著性图具有更高的空间一致性，背景噪声更少，即使在复杂杂乱与干扰场景下也表现稳健。