[論文レビュー] Improving Weakly Supervised Visual Grounding by Contrastive Knowledge Distillation

Liwei Wang, Jing Huang+4 more|arXiv (Cornell University)|Jul 3, 2020

Multimodal Machine Learning Applications参考文献 60被引用数 8

ひとこと要約

本論文は、推論時におけるオブジェクト検出器の必要性を排除する弱教師付き視覚的グランドリングのための対照的知識蒸留フレームワークを提案する。トレーニング時に事前学習済みオブジェクト検出器を活用することで、検出を推論時に行わずとも、領域-フレーズの一致をガイドする。検出器の予測から得られるスコア関数を蒸留し、同時に対照的学習によって画像-文スコア関数を最適化することで、Flickr30K Entities (+50.96%の正確性) および ReferItGame (+27.59%の正確性) で最先端の性能を達成し、推論時にオブジェクト検出器を必要としない手法を上回る。

ABSTRACT

Weakly supervised phrase grounding aims at learning region-phrase correspondences using only image-sentence pairs. A major challenge thus lies in the missing links between image regions and sentence phrases during training. To address this challenge, we leverage a generic object detector at training time, and propose a contrastive learning framework that accounts for both region-phrase and image-sentence matching. Our core innovation is the learning of a region-phrase score function, based on which an image-sentence score function is further constructed. Importantly, our region-phrase score function is learned by distilling from soft matching scores between the detected object names and candidate phrases within an image-sentence pair, while the image-sentence score function is supervised by ground-truth image-sentence pairs. The design of such score functions removes the need of object detection at test time, thereby significantly reducing the inference cost. Without bells and whistles, our approach achieves state-of-the-art results on visual phrase grounding, surpassing previous methods that require expensive object detectors at test time.

研究の動機と目的

• 教師なし境界ボックスアノテーションを用いた弱教師付き視覚的グランドリングにおける領域-フレーズ対応付けの学習に取り組むこと。
• 推論時にオブジェクト検出器を不要とすることで推論コストを低減しつつ、高い局在化正確性を維持すること。
• オブジェクト検出器からの外部知識を活用して、重複する視覚的概念（例：'dog' と 'dog head'）の区別を向上させること。
• 対照的学習と知識蒸留を統合した、原理的かつ効率的かつ効果的な視覚的グランドリング手法を開発すること。

提案手法

• 本手法は、画像-文ペア内の候補フレーズと検出されたオブジェクト名の間のソフトマッチングスコアを蒸留することで、領域-フレーズスコア関数を学習する。
• ノイズ対比推定（NCE）損失を用いた対照的学習フレームワークを導入し、画像-文マッチングの監督のもとで、類似度に基づいて領域-フレーズペアを整列させる。
• 画像-文スコア関数は、正例の画像-文ペアによって監督され、領域-フレーズマッチングと画像-文マッチングの両方を同時に最適化可能となる。
• 最終的なモデルは、推論時にオブジェクト検出器を必要としない学習済みスコア関数を用いる。
• 本手法は2段階の学習プロセスを採用する：まずオブジェクト検出器出力（例：Open Images クラス）からの蒸留を行い、次に対照的画像-文損失と併せて最適化する。
• バックボーン（例：ResNet-101）と検出器（例：IRV2-OI）を用いてエンドツーエンドで学習し、推論時にスコア関数を用いて各フレーズに対して最高スコアの領域を予測する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出器の予測から得られる知識蒸留が、推論時に検出器を必要としない弱教師付き視覚的グランドリングにおける領域-フレーズマッチングを向上させることができるか？
• RQ2 オブジェクト検出出力からの蒸留と組み合わせた画像-文ペアにおける対照的学習が、局在化正確性をどのように向上させるか？
• RQ3 蒸留と対照的学習が弱教師付きグランドリングの性能向上に果たす相対的寄与度は何か？
• RQ4 蒸留と対照的学習によって学習された統合スコア関数は、推論時にオブジェクト検出器を必要とする手法を上回ることができるか？
• RQ5 弱教師付き視覚的グランドリングモデルにオブジェクト検出器の知識を統合する最良の実践法は何か？

主な発見

• NCE+Distillの完全モデルは、Flickr30K Entitiesで50.96%の正確性を達成し、以前の最先端手法を大きく上回った。
• ReferItGameでは27.59%の正確性に達し、推論時に強力な検出器を用いる手法ですら顕著に上回った。
• NCE損失は、Flickr30Kで+6.2%、ReferItGameで+3.7%の向上を示し、対照的学習の有効性を裏付けた。
• ResNet-101とIRV2-OI検出器を用いた場合、知識蒸留はFlickr30Kで+2.61%、ReferItGameで+0.96%の向上をもたらし、バックボーンにかかわらず一貫した向上が得られた。
• アブレーションスタディの結果、NCEと蒸留は補完的信号を提供することが確認された：蒸留は重複する概念（例：'person' と 'face'）の区別を助け、NCEは微細な属性（例：'striped shirt'）を捉える。
• 本手法は異なるバックボーンや検出器に対しても汎用的であり、視覚的バックボーンと検出器の知識の整合性が異なる場合でも一貫した向上が得られた。