[論文レビュー] Improving Human-Object Interaction Detection via Phrase Learning and Label Composition

Zhimin Li, Cheng Zou+3 more|arXiv (Cornell University)|Dec 14, 2021

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、言語的事前知識を用いて、HOI分類器と新しい関係的フレーズ学習ブランチを同時に学習するマルチタスクフレームワーク、PhraseHOIを提案する。word2vec埋め込みと意味的近傍に基づくラベル構成法を用いることで、HOIにおける長尾分布問題を緩和し、HICO-DETベンチマークで最先端の性能を達成した。Fullスプリットでは29.29%のAP、NonRareスプリットでは31.46%のAPを記録した。

ABSTRACT

Human-Object Interaction (HOI) detection is a fundamental task in high-level human-centric scene understanding. We propose PhraseHOI, containing a HOI branch and a novel phrase branch, to leverage language prior and improve relation expression. Specifically, the phrase branch is supervised by semantic embeddings, whose ground truths are automatically converted from the original HOI annotations without extra human efforts. Meanwhile, a novel label composition method is proposed to deal with the long-tailed problem in HOI, which composites novel phrase labels by semantic neighbors. Further, to optimize the phrase branch, a loss composed of a distilling loss and a balanced triplet loss is proposed. Extensive experiments are conducted to prove the effectiveness of the proposed PhraseHOI, which achieves significant improvement over the baseline and surpasses previous state-of-the-art methods on Full and NonRare on the challenging HICO-DET benchmark.

研究の動機と目的

• 言語的事前知識を活用した新しい関係的フレーズ学習タスクを導入することで、HOI検出の性能を向上させること。
• ラベル空間における意味的近傍を用いたラベル構成法により、HOIデータセットにおける長尾分布問題を緩和すること。
• マルチタスクアーキテクチャを用いてHOI検出とフレーズ学習を同時に最適化することで、特徴の識別性と一般化性能を向上させること。
• 言語埋め込みからの知識蒸留が、追加のアノテーションを必要とせずにHOI性能を向上させることを実証すること。

提案手法

• 既存のHOIアノテーションから自動的に導出可能な自然言語フレーズを生成する関係的フレーズ学習タスクを導入する。
• 共有トランスフォーマーベースと2つの並列ブランチ（HOI検出用とフレーズ埋め込み予測用）を持つマルチタスクネットワーク、PhraseHOIを提案する。
• 学習済みフレーズ埋め込みを自然言語フレーズにデコードするためのルックアップテーブル（LUT）を用いる。
• 予測されたフレーズ埋め込みを事前学習済みword2vec埋め込みと一致させるための蒸留損失を採用し、グローバルな意味的構造を保持する。
• 意味的に類似しているが異なるフレーズ間の局所的識別性を向上させるために、バランスの取れたトリプレット損失を適用する。
• 動詞やオブジェクトをその意味的近傍に置き換えることで、新しいHOIラベルを生成するラベル構成法を開発し、レアカテゴリのラベル空間を効果的に拡張する。

実験結果

リサーチクエスチョン

• RQ1 既存のHOIアノテーションから導出可能な関係的フレーズ学習は、マルチタスク学習を通じてHOI検出の性能向上に寄与するか？
• RQ2 事前学習済みword埋め込みからの言語的事前知識を、HOI検出パイプラインに効果的に統合する方法は何か？
• RQ3 意味的近傍に基づくラベル構成法は、HOIデータセットにおける長尾分布問題を緩和できるか？
• RQ4 HOI検出とフレーズ学習の共同最適化は、より良い一般化性能およびゼロショット能力をもたらすか？

主な発見

• PhraseHOIはHICO-DETベンチマークのFullスプリットで29.29%の平均精度（AP）、NonRareスプリットで31.46%のAPを達成し、新たな最先端性能を樹立した。
• アブレーションスタディの結果、蒸留損失とトリプレット損失の両方をフレーズブランチで使用した場合、Fullスプリットで1.19%、Rareスプリットで3.39%のAP向上が確認され、損失設計の有効性が示された。
• 言語モデルでエンコードされた埋め込みよりも、連結埋め込み法が優れている。29.29%のAP（連結法）と22.64%のAP（言語モデル法）の差は、埋め込み空間における識別性の優位性に起因する。
• word2vec埋め込みをランダム埋め込みに置き換えると、性能は21.90%のAPに低下し、言語的事前知識そのものが向上の鍵であることが確認された。
• ラベル構成法により、稀少カテゴリの性能が顕著に向上し、トリプレット損失のハイパーパrameter m=0.50を用いた場合、Rareスプリットで3.39%のAP向上が得られた。
• フレーズブランチは、推論時においても使用されない場合でも、言語空間からの知識蒸留を可能にし、HOIブランチの性能向上に寄与した。