[論文レビュー] RLIP: Relational Language-Image Pre-training for Human-Object Interaction Detection

Hangjie Yuan, Jianwen Jiang+5 more|arXiv (Cornell University)|Sep 5, 2022

Multimodal Machine Learning Applications被引用数 29

ひとこと要約

RLIP-ParSeは、平行な主体検出と逐次的な関係推論アーキテクチャを備えた関係言語—画像事前学習と、データおよびラベル処理戦略を組み合わせることで、ゼロショット・few-shot・ファインチューニング設定におけるHOI検出を強化し、ノイズのあるラベルに対する頑健性を改善します

ABSTRACT

The task of Human-Object Interaction (HOI) detection targets fine-grained visual parsing of humans interacting with their environment, enabling a broad range of applications. Prior work has demonstrated the benefits of effective architecture design and integration of relevant cues for more accurate HOI detection. However, the design of an appropriate pre-training strategy for this task remains underexplored by existing approaches. To address this gap, we propose Relational Language-Image Pre-training (RLIP), a strategy for contrastive pre-training that leverages both entity and relation descriptions. To make effective use of such pre-training, we make three technical contributions: (1) a new Parallel entity detection and Sequential relation inference (ParSe) architecture that enables the use of both entity and relation descriptions during holistically optimized pre-training; (2) a synthetic data generation framework, Label Sequence Extension, that expands the scale of language data available within each minibatch; (3) mechanisms to account for ambiguity, Relation Quality Labels and Relation Pseudo-Labels, to mitigate the influence of ambiguous/noisy samples in the pre-training data. Through extensive experiments, we demonstrate the benefits of these contributions, collectively termed RLIP-ParSe, for improved zero-shot, few-shot and fine-tuning HOI detection performance as well as increased robustness to learning from noisy annotations. Code will be available at https://github.com/JacobYuan7/RLIP.

研究の動機と目的

• 下流タスクと整合する関係言語監督を介した事前学習を通じて、HOI検出を改善する動機づけ。
• 主体・客体・関係表現をデカップリングするParSeアーキテクチャを提案し、より良い跨模态学習を実現。
• ミニバッチ内の言語監督を拡張するLabel Sequence Extensionを導入。
• Relational Quality LabelsとRelational Pseudo-Labelsを用いてラベルノイズと意味的曖昧性を緩和。

提案手法

• ParSeを導入する: 主体/客体検出の並列と関係推論の逐次処理を備えたDETR風アーキテクチャで、分離されたエンティティおよび関係表現。
• RLIPを適用して、エンティティと関係の画像特徴と自由形式のテキスト記述との間の跨模態対応を学習する。
• Label Sequence Extensionを用いて、インバッチのラベルをアウトオブバッチの記述で拡張し、ネガティブサンプルを合成する。
• 主体/客体検出品質に基づいて関係テキストの信頼度をスケールさせるRelational Quality Labelsを用いてラベルノイズを緩和。
• テキスト埋め込みの類似性を介して類似の関係ラベルを伝播させるRelational Pseudo-Labelsで意味的曖昧性を緩和。

実験結果

リサーチクエスチョン

• RQ1 関係言語-画像事前学習は、従来のオブジェクト中心の事前学習を超えてHOI検出を改善できるか？
• RQ2 主体・客体・関係表現をデカップリングする（ParSe）ことは、HOIタスクの跨模态整合をより良くサポートするか？
• RQ3 シンセティックなネガティブサンプリング（LSE）とラベル/ノイズ処理（RQL、RPL）がゼロショット・few-shot・ファインチューニングのHOI性能にどのような影響を与えるか？
• RQ4 自由形式言語におけるノイズのある関係注釈と意味的同義語に対して、RLIP-ParSeは頑健か？

主な発見

• HOI検出のためのVGにおけるRLIP事前学習は、標準的な物体検出事前学習を上回る。
• RLIP-ParSeは、特定のプロトコル下で、いくつかのファインチューニング手法を上回る強力なゼロショットHOI検出性能を達成する。
• データが乏しい場合に特に、従来の事前学習と比較して、少量データ転移（few-shot）性能の向上を促進する。
• RQLとRPLによる関係ラベルノイズおよび同義語への頑健性の向上は、ノイズの多い監督下での安定性を改善する。