[論文レビュー] Adaptive Reconstruction Network for Weakly Supervised Referring Expression Grounding

Xuejing Liu, Liang Li+4 more|arXiv (Cornell University)|Aug 28, 2019

Multimodal Machine Learning Applications参考文献 39被引用数 6

ひとこと要約

本稿では、弱教師付き参照表現定位のためのエンドツーエンドの適応的再構成ネットワーク（ARN）を提案する。この手法は階層的アテンション機構を用いて、被写体、位置、文脈特徴をモデル化し、参照表現を適応的に定位する。言語再構成、適応的特徴再構成、属性分類の損失を統合最適化することで、4つのベンチマークデータセットで最先端性能を達成する。

ABSTRACT

Weakly supervised referring expression grounding aims at localizing the referential object in an image according to the linguistic query, where the mapping between the referential object and query is unknown in the training stage. To address this problem, we propose a novel end-to-end adaptive reconstruction network (ARN). It builds the correspondence between image region proposal and query in an adaptive manner: adaptive grounding and collaborative reconstruction. Specifically, we first extract the subject, location and context features to represent the proposals and the query respectively. Then, we design the adaptive grounding module to compute the matching score between each proposal and query by a hierarchical attention model. Finally, based on attention score and proposal features, we reconstruct the input query with a collaborative loss of language reconstruction loss, adaptive reconstruction loss, and attribute classification loss. This adaptive mechanism helps our model to alleviate the variance of different referring expressions. Experiments on four large-scale datasets show ARN outperforms existing state-of-the-art methods by a large margin. Qualitative results demonstrate that the proposed ARN can better handle the situation where multiple objects of a particular category situated together.

研究の動機と目的

• トレーニング時に真のオブジェクト-クエリ対応が利用できない弱教師付き参照表現定位の課題に対処すること。
• 過去の手法が視覚的外観特徴に依存するのみで、同じカテゴリの複数のオブジェクトを区別できないという限界を克服すること。
• 同じカテゴリの複数のオブジェクトが存在する複雑なシーンでも、被写体、位置、文脈特徴を明示的にモデル化することで定位のロバスト性を向上させること。
• 定位と再構成を統合的に最適化することで特徴表現と局所化精度を向上させる、エンドツーエンドで学習可能なフレームワークの構築

提案手法

• Faster R-CNNと空間符号化を用いて画像領域提案から被写体、位置、文脈特徴を抽出し、相対的・絶対的位置を表現する。
• 再帰的ネットワークを用いて参照表現を被写体、位置、文脈のコンponentsに解析し、言語的構造をモデル化する。
• 階層的アテンション機構を実装：まず各提案領域に対して被写体、位置、文脈特徴にアテンションを適用し、次にクエリ構文に応じてそれらを統合する。
• 言語再構成損失、被写体／位置／文脈特徴のための適応的再構成損失、属性分類損失を組み合わせた協調損失を設計する。
• 3つの損失成分の重み付き組み合わせを用いて、定位と再構成を同時に最適化するように、全モデルをエンドツーエンドで学習する。
• アブレーションスタディを用いてハイパーパramータをチューニングし、各損失成分が最終性能に与える寄与を検証する。

実験結果

リサーチクエスチョン

• RQ1 クエリ構文に応じて被写体、位置、文脈特徴を動的に重み付けする適応的アテンション機構は、定位性能の向上に寄与するか？
• RQ2 クエリと中間特徴の両方を再構成する協調的再構成は、単一タスク再構成よりも優れた表現学習を実現するか？
• RQ3 属性分類と適応的特徴再構成は、同じカテゴリの複数のインスタンスが存在する混雑したシーンでのオブジェクト局所化にどのように寄与するか？
• RQ4 提案手法は、構文構造や特徴依存関係が異なる多様な参照表現に一般化可能か？
• RQ5 弱教師付き定位において、言語再構成損失、適応的再構成損失、属性分類損失の最適なバランスは何か？

主な発見

• ARNはRefCLEFデータセットで26.19%の精度（IoU > 0.5）を達成し、前回のSOTAを10.36%上回った。
• 言語再構成損失のみを用いることで、前回のSOTA比で6.03%の性能向上が達成され、適応的定位モジュールの有効性が示された。
• 適応的再構成損失を追加すると、言語再構成のみのケースに比べて3.49%の精度向上が得られ、特徴の精錬における価値が裏付けられた。
• 属性分類損失は追加で0.84%の向上をもたらし、カテゴリ固有の局所化におけるその役割が示された。
• アブレーションスタディにより、言語再構成損失の重みを30（γ = 30）に設定した場合が最適であり、全損失組み合わせ（γ = 30, λ = 1）が最良の結果を出した。
• 定性的な結果から、ARNは複数の同じカテゴリのオブジェクト（例：複数の白い服を着た男性）が存在する困難なケースでも、オブジェクトを正しく局所化できていることが確認された。