[论文解读] HOI Analysis: Integrating and Decomposing Human-Object Interaction

Yong–Lu Li, Xinpeng Liu+3 more|arXiv (Cornell University)|Oct 30, 2020

Multimodal Machine Learning Applications参考文献 52被引用 64

一句话总结

本文提出 HOI Analysis 与 Integration-Decomposition Network (IDN)，通过在变换函数空间中对人和物特征进行分解与整合来表示动词，在基准数据集上实现了领先的 HOI 检测。

ABSTRACT

Human-Object Interaction (HOI) consists of human, object and implicit interaction/verb. Different from previous methods that directly map pixels to HOI semantics, we propose a novel perspective for HOI learning in an analytical manner. In analogy to Harmonic Analysis, whose goal is to study how to represent the signals with the superposition of basic waves, we propose the HOI Analysis. We argue that coherent HOI can be decomposed into isolated human and object. Meanwhile, isolated human and object can also be integrated into coherent HOI again. Moreover, transformations between human-object pairs with the same HOI can also be easier approached with integration and decomposition. As a result, the implicit verb will be represented in the transformation function space. In light of this, we propose an Integration-Decomposition Network (IDN) to implement the above transformations and achieve state-of-the-art performance on widely-used HOI detection benchmarks. Code is available at https://github.com/DirtyHarryLYL/HAKE-Action-Torch/tree/IDN-(Integrating-Decomposing-Network).

研究动机与目标

• 通过分析 HOI 的内部结构，激发对 HOI 的新视角，超越像素到语义的映射。
• 提出一种潜在空间变换框架，整合并分解人和物特征以编码动词。
• 在变换函数空间中学习动词，以改善跨对变换和罕见 HOI 的处理。
• 在标准基准上展示先进的 HOI 检测性能，并对探测器变化具鲁棒性。

提出的方法

• 将 HOI 表示为 isolated 人/物特征之间的变换与一个连贯的 HOI 嵌入。
• 使用自编码器压缩特征并学习动词特定的整合 T_I(·) 和分解 T_D(·) 映射。
• 通过在同一 HOI 内交换相似的人/物实例来建模跨对变换，以学习动词空间而不进行运动转移。
• 用在变换空间中强制整合有效性、分解有效性和交互性有效性的目标进行训练。
• 通过比较与动词特定整合特征的距离并结合多个动词信号，应用整合和分解来进行 HOI 检测。
• 在潜在空间中执行所有变换，以实现对多种动词的高效、可并行学习。

实验结果

研究问题

• RQ1 HOI 能否表示为 isolated 元素与整体交互之间的结构化变换？
• RQ2 潜在空间中的整合与分解是否比直接像素到动词的映射更好地捕捉动词语义？
• RQ3 在 HOI 对之间交换相似实例是否揭示共享的动词表示并改善罕见 HOI 的学习？
• RQ4 动词表示能否在变换函数空间中被有效学习并用于稳健的 HOI 检测？

主要发现

• IDN 在使用 COCO 探测器的 HICO-DET 上取得了先进结果，Default Full 集达到 23.36 mAP。
• IDN 在对在 HICO-DET 上微调的探测器下显著提升，Default Full 达到 26.29 mAP。
• 在 GT 框上，IDN 相较于先前方法达到较大优势，HICO-DET 的 Full 为 43.98 mAP。
• IDN 在 V-COCO 场景 1 上达到 53.3 AP_role，在场景 2 上达到 60.3 AP_role，超过先前方法。
• 消融研究表明，整合、分解、IPT 和 AE 组件各自对性能提升有贡献。
• 该方法在单个 GPU 上以 10.04 FPS 运行，展示了良好的效率与可扩展性。