[論文レビュー] Rethinking Diversified and Discriminative Proposal Generation for Visual Grounding

Yu Zhou, Jun Yu+4 more|arXiv (Cornell University)|May 9, 2018

Multimodal Machine Learning Applications被引用数 3

ひとこと要約

本稿では、視覚的グランドリングのためのオブジェクトプロポーザル生成において、多様性と識別性を同時に最適化する、Diversified and Discriminative Proposal Networks (DDPN) を提案する。高品質なプロポーザルを生成し、KLDおよび回帰損失を用いて強力なベースラインを訓練することで、DDPNは最先端の性能を達成しており、先行手法と比較してReferItGameで18.8%、Flickr30k Entitiesで8.2%の向上を達成している。

ABSTRACT

Visual grounding aims to localize an object in an image referred to by a textual query phrase. Various visual grounding approaches have been proposed, and the problem can be modularized into a general framework: proposal generation, multi-modal feature representation, and proposal ranking. Of these three modules, most existing approaches focus on the latter two, with the importance of proposal generation generally neglected. In this paper, we rethink the problem of what properties make a good proposal generator. We introduce the diversity and discrimination simultaneously when generating proposals, and in doing so propose Diversified and Discriminative Proposal Networks model (DDPN). Based on the proposals generated by DDPN, we propose a high performance baseline model for visual grounding and evaluate it on four benchmark datasets. Experimental results demonstrate that our model delivers significant improvements on all the tested data-sets (e.g., 18.8\% improvement on ReferItGame and 8.2\% improvement on Flickr30k Entities over the existing state-of-the-arts respectively)

研究の動機と目的

• プロポーザル生成の役割が視覚的グランドリングにおいてあまり検討されていないこと、しばしば固定モジュールとして扱われることに対処する。
• 視覚的グランドリングにおける高品質なプロポーザルジェネレータが何を特徴とするかを調査し、多様性と識別性に焦点を当てる。
• プロポーザルの多様性と識別力の両方を同時に向上させる統合フレームワークを設計する。
• DDPNが生成するプロポーザルと新たな訓練損失を用いて、視覚的グランドリングの強力なベースラインを確立する。
• 多数のベンチマークデータセットを対象として、広範なアブレーションと比較を通じてDDPNの有効性を検証する。

提案手法

• 多様性と識別的品質の両方を同時に最適化する2ストリームネットワークである、Diversified and Discriminative Proposal Networks (DDPN) を提案する。
• 特徴量のクラスタリングに基づく多様性損失を用い、プロポーザルが異なるオブジェクト領域をカバーするように促進する。
• 対照的学習を用いた識別損失を適用し、プロポーザル同士およびバックグラウンドからの分離性を向上させる。
• 視覚的特徴とテキスト特徴のマルチモーダル統合のため、シンプルな特徴連結モジュールをDDPNに統合する。
• 2つの新しい損失を用いてモデル全体を訓練する：提案の文脈をモデル化するためのソフトラベルを用いたKullback-Leibler (KLD) 発散損失、および境界ボックスの微調整のための滑らかなL1回帰損失。
• 性能に与える影響を評価するため、VGG-16とResNet-101をバックボーンとして用いる。

実験結果

リサーチクエスチョン

• RQ1 どのような特性が視覚的グランドリングにおける効果的なプロポーザルジェネレータを特徴づけ、多様性と識別性をどのように同時に最適化できるか？
• RQ2 標準的なRPNや選択的探索と比較して、統合されたプロポーザル生成フレームワークが視覚的グランドリング性能を顕著に向上させられるか？
• RQ3 ソフトラベルを用いたKLD損失と回帰損失は、局所化精度の向上にどのように寄与するか？
• RQ4 バックボーンネットワークの選択（例：VGG-16対ResNet-101）が、DDPNベースのシステムの性能にどの程度影響を与えるか？
• RQ5 提案されたDDPNベースのベースラインは、複数のベンチマークで最先端手法と比較してどのように評価されるか？

主な発見

• DDPNベースのモデルは、ReferItGameで18.8%の絶対的向上（先行SOTAの44.2%から63.0%に）を達成し、Flickr30k Entitiesでは8.2%の向上（65.1%から73.3%に）を示した。
• ResNet-101をバックボーンとして使用すると、VGG-16に比べて3–4ポイントの性能向上を示し、特徴表現能力の重要性を裏付けた。
• アブレーションスタディにより、DDPNにおける多様性と識別性の両成分が不可欠であることが確認され、いずれかの成分を除去すると顕著な性能低下が生じた。
• ソフトラベルを用いたKLD損失は、プロポーザルの文脈モデリングを向上させ、より良いランク付け性能に寄与した。
• 滑らかなL1回帰損失は境界ボックス予測の微調整を効果的に実行し、局所化誤差を低減し、IoUスコアを向上させた。
• 提案されたベースラインモデルは、RefCOCO、RefCOCO+、Flickr30k Entities、ReferItGameの4つのベンチマークデータセットすべてで、すべての先行SOTA手法を上回った。