[论文解读] Compositional Feature Augmentation for Unbiased Scene Graph Generation

Lin Li, Guikun Chen+4 more|arXiv (Cornell University)|Aug 13, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出组合特征增强（CFA），一种新颖的、与模型无关的方法，通过增强关系三元组的内在和外在特征，提升尾部谓词的特征多样性，从而缓解场景图生成（SGG）中的偏差问题。CFA将三元组特征分解为内在（对象级）和外在（上下文）两部分，随后应用特征替换与混合（mixup）以丰富低频尾部类别，最终在VG和GQA数据集上实现SOTA性能，并在各类指标下的平均召回率上取得显著提升。

ABSTRACT

Scene Graph Generation (SGG) aims to detect all the visual relation triplets $<$ exttt{sub}, exttt{pred}, exttt{obj}$>$ in a given image. With the emergence of various advanced techniques for better utilizing both the intrinsic and extrinsic information in each relation triplet, SGG has achieved great progress over the recent years. However, due to the ubiquitous long-tailed predicate distributions, today's SGG models are still easily biased to the head predicates. Currently, the most prevalent debiasing solutions for SGG are re-balancing methods, \eg, changing the distributions of original training samples. In this paper, we argue that all existing re-balancing strategies fail to increase the diversity of the relation triplet features of each predicate, which is critical for robust SGG. To this end, we propose a novel Compositional Feature Augmentation ( extbf{CFA}) strategy, which is the first unbiased SGG work to mitigate the bias issue from the perspective of increasing the diversity of triplet features. Specifically, we first decompose each relation triplet feature into two components: intrinsic feature and extrinsic feature, which correspond to the intrinsic characteristics and extrinsic contexts of a relation triplet, respectively. Then, we design two different feature augmentation modules to enrich the feature diversity of original relation triplets by replacing or mixing up either their intrinsic or extrinsic features from other samples. Due to its model-agnostic nature, CFA can be seamlessly incorporated into various SGG frameworks. Extensive ablations have shown that CFA achieves a new state-of-the-art performance on the trade-off between different metrics.

研究动机与目标

• 解决SGG模型因谓词语料长尾分布而对头部谓词产生持续偏差的问题。
• 克服现有重平衡方法的局限性，即尽管调整了样本频率或损失权重，仍无法提升尾部谓词的特征多样性。
• 开发一种与模型无关的增强策略，以增强低频谓词的特征空间多样性。
• 通过丰富三元组特征分布，改善长尾SGG中的决策边界学习。
• 在头部、中部和尾部谓词之间实现mR@K与R@K之间的更好权衡。

提出的方法

• CFA将每个关系三元组特征分解为内在（与对象相关）和外在（上下文相关）两部分。
• 对于内在特征增强，使用基于模式、上下文和语义相似性的聚类方法，将尾部谓词三元组的实体特征替换为来自其他样本中语义和上下文相似的实体特征。
• 对于外在特征增强，利用可学习参数θ控制混合比例，在前景和背景三元组特征之间应用mixup。
• 该方法与模型无关，可无缝集成至现有SGG框架（如Motifs）中。
• 替换或混合的特征选择由相似性度量指导，以确保语义和上下文上的合理性。
• 该方法在不改变训练数据频率或损失权重的前提下，直接针对偏差根源——稀疏且缺乏多样性的特征分布——提升特征多样性。

实验结果

研究问题

• RQ1 仅通过增加关系三元组特征的多样性，而非仅调整样本频率或损失权重，是否能带来SGG中更好的泛化性能？
• RQ2 将内在与外在特征分离，是否能实现更有效且语义上更合理的尾部谓词数据增强？
• RQ3 一种与模型无关的增强策略，通过混合或替换来自不同样本的特征，是否能提升头部、中部和尾部谓词的整体性能？
• RQ4 不同相似性度量（模式、上下文、语义）如何影响增强后特征的质量与多样性？
• RQ5 哪些超参数设置（如聚类数K、mixup比例θ）能在无偏SGG中实现mR@K与R@K之间的最佳权衡？

主要发现

• 在PredCls设置下，CFA在VG数据集上实现了新的SOTA性能，平均召回率达到46.2，优于基线模型Motifs。
• 消融实验证明，结合所有CFA组件（内在替换、前景mixup、背景mixup）可获得最高平均召回率（46.2），表明其具有协同增益效应。
• 仅使用内在特征替换可使mR@K提升2.8%–3.4%，但R@K略有下降，表明其因多样性不足而影响有限。
• 外在特征mixup（前景与背景）显著提升mR@K（例如mR@100从17.8%提升至30.3%），同时保持较强的R@K表现，证明其在丰富上下文特征方面的有效性。
• 在内在CFA中，最优聚类数K=15在特征多样性与选择范围之间实现最佳平衡，优于K=40与K=150。
• 最优mixup参数θ=0.5能均衡查询特征与上下文特征的影响，当θ取极端值（θ=0.0或θ=1.0）时性能均下降。